RU2787005C1

RU2787005C1 - Устройство-источник, устройства-приемники, способы и компьютерные программы

Info

Publication number: RU2787005C1
Application number: RU2021114357A
Authority: RU
Inventors: Штефан КРЕГЕЛО; Томас ХЕЛЛЕР; Ринат ЦЕ; Херберт ТОМА
Original assignee: Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date: 2018-10-24
Filing date: 2019-10-24
Publication date: 2022-12-28

Abstract

Настоящее изобретение относится к области предоставления аудиоданных и видеоданных по одному или более из цифровых мультимедийных интерфейсов. Технический результат заключается в обеспечении синхронизации воспроизведения аудио и видео в соединенных аудио- и видеоустройствах. Результат достигается за счет того, что устройство-источник выполнено с возможностью автоматически регулировать временное совмещение между предоставлением аудиоданных и предоставлением видеоданных на основе информации относительно времени задержки аудиотракта и на основе информации относительно времени задержки видеотракта. 7 н. и 21 з.п. ф-лы, 20 ил., 4 табл.

Description

Область техники, к которой относится изобретение

Варианты осуществления изобретения относятся к устройству-источнику для предоставления аудиоданных и видеоданных по одному или более цифровых мультимедийных интерфейсов.

Дополнительные варианты осуществления изобретения относятся к устройству-приемнику, в частности, к устройству-видеоприемнику.

Дополнительные варианты осуществления изобретения относятся к дополнительному устройству-приемнику, в частности, к устройству-аудиоприемнику.

Дополнительные варианты осуществления изобретения относятся к способу для предоставления аудиоданных и видеоданных по одному или более цифровых мультимедийных интерфейсов.

Дополнительные варианты осуществления изобретения относятся к компьютерной программе.

Варианты осуществления согласно изобретению предоставляют средство для того, чтобы достигать синхронизации артикуляции по губам в аудио/видеоустройствах, соединенных через HDMI, HDMI ARC и S/PDIF.

Уровень техники

Воспроизведение аудио-видеоконтента зачастую заключает в себе определенное число устройств, которые соединяются между собой с использованием, например, HDMI-, HDMI ARC- и S/PDIF-каналов связи. HDMI переносит, например, аудио и видео, HDMI ARC и S/PDIF переносят, например, только аудио. Все устройства, соединенные с HDMI или HDMI ARC, внутри себя соединяются с HDMI CEC-шиной. S/PDIF (электрический или оптический Toslink-канал связи) представляет собой чистое однонаправленное соединение.

Для воспроизведения, устройство-источник (например, STB, абонентская приставка) отправляет аудио- и видеопоток в устройство-приемник (например, в телевизор). Также обычная практика заключается в том, чтобы иметь различные устройства-приемники для видео и аудио, например, телевизор для видео и AVR или звуковую панель для аудио. Помимо этого, могут быть предусмотрены дополнительные устройства в HDMI-сети, например, повторители или переключатели либо дополнительные источники или приемники. Видео, например, всегда передается в необработанном формате, для аудио возможно множество форматов, как распакованных (например, PCM), так и сжатых (например, MPEG-H).

Чтобы достигать синхронизации артикуляции по губам, HDMI-спецификация (HDMI 1.4, HDMI 2.0) предлагает то, что аудио и видео воспроизводятся в синхронизации посредством устройства-источника. В таком случае, очевидно, что для всех нижележащих устройств обязательно применять идентичное время задержки к видеотракту и аудиотракту таким образом, что подготовка посредством рендеринга видео и аудио должна возникать в совершенно идентичное время.

Это работает достаточно хорошо в простых случаях, например, при воспроизведении из STB на телевизор с использованием PCM-аудио. Телевизор знает время рендеринга для видео и применяет это в качестве задержки для аудио перед его отправкой в громкоговорители.

Проблемы возникают, если время, необходимое для обработки (декодирования и рендеринга) аудио, превышает время, необходимое для рендеринга видео. Поскольку видео передается по HDMI в необработанном формате, оно не может задерживаться в устройствах-приемниках с обоснованными усилиями. Следовательно, HDMI-спецификация предписывает то, что время аудиозадержки не должно превышать время видеозадержки+20 мс (см. HDMI 2.0a 10.6.1.1).

Тем не менее, сегодняшние мощные аудиокодеки зачастую имеют времена декодирования, которые превышают типичное время рендеринга видео. Помимо этого, устройствам-приемникам может требоваться существенное время для алгоритмов рендеринга аудио (например, в звуковой панели) или беспроводное соединение громкоговорителей. Следовательно, требуется решение, в котором синхронизация артикуляции по губам может достигаться, когда время аудиозадержки превышает время видеозадержки.

Другая проблема возникает, если аудиоприемник и видеоприемник не представляют собой идентичные устройства. В этом случае, аудиоприемник обязан знать (или должен знать) время задержки видеоприемника для того, чтобы регулировать свое время задержки согласно текущей схеме.

HDMI задает необязательный механизм для устройства-приемника для того, чтобы сообщать свои времена видео- и аудиозадержки в EDID (в информации, отправленной из приемника в источник), но он почти никогда не реализуется и в силу этого не может использоваться на практике. Кроме того, даже если он реализован, она представляет собой статическую и усредненную информацию и не изменяется, когда время видеозадержки изменяется. Время видеозадержки может изменяться, когда обрабатываются различные разрешения видео, либо когда в телевизоре выбираются различные параметры видео, например быстрый игровой режим.

HDMI 2.0 также задает необязательные CEC-команды, чтобы сообщать изменяющиеся времена видеозадержки (см. HDMI 2.0a 10.7.1). Но снова, это почти никогда не реализуется и в силу этого не может использоваться на практике.

Следует отметить, что необязательно, некоторые или все признаки, функциональности и подробности могут применяться или могут присутствовать в вариантах осуществления согласно настоящему изобретению (по меньшей мере, если это не конфликтует с концепциями, описанными ниже).

Таким образом, имеется потребность в том, чтобы улучшать синхронизацию воспроизведения аудио и видео в соединенных аудио- и видеоустройствах.

Сущность изобретения

Вариант осуществления согласно изобретению предоставляет устройство-источник для предоставления аудиоданных и видеоданных по одному или более цифровых видеоинтерфейсов, например, HDMI-портов, например, согласно спецификации HDMI 1.4 или выше. Устройство-источник выполнено с возможностью автоматически регулировать временное совмещение между предоставлением аудиоданных, например, в форме аудиопотока и предоставлением видеоданных, например, в форме видеопотока, на основе информации относительно времени задержки аудиотракта и на основе информации относительно времени задержки видеотракта. Время задержки аудиотракта, например, представляет собой время задержки от предоставления аудиоданных посредством устройства-источника до предоставления слышимой аудиоинформации, которое представляет собой воспроизведение аудиоданных, например, посредством устройства-аудиоприемника. Время задержки видеотракта, например, представляет собой время задержки от предоставления видеоданных или аудиоданных посредством устройства-источника до предоставления видимых видеоданных, например, посредством устройства-видеоприемника или посредством устройства-видеоисточника.

Устройство-источник основано на такой идее, что синхронизация воспроизведения аудиоданных и воспроизведения видеоданных может улучшаться посредством регулирования временного совмещения между предоставлением аудиоданных и предоставлением видеоданных посредством устройства-источника. Поскольку устройство-источник, например, выполнено с возможностью иметь доступ к информации относительно времени задержки аудиотракта и информации относительно времени задержки видеотракта, устройство-источник допускает рассмотрение как времени задержки аудиотракта, так и времени задержки видеотракта для регулирования временного совмещения между предоставлением аудиоданных и предоставлением видеоданных. Поскольку устройство-источник предоставляет как аудиоданные, так и видеоданные, устройство-источник может эффективно регулировать временное совмещение между аудиоданными и видеоданными (что, например, может быть более эффективным, чем добавление задержки в устройстве-приемнике).

Например, устройство-источник может задерживать предоставление аудиоданных относительно предоставления видеоданных, или устройство-источник может задерживать предоставление видеоданных относительно предоставления аудиоданных. Таким образом, устройство-источник допускает задержку как предоставления аудиоданных, так и предоставления видеоданных относительно друг друга. Следовательно, устройство-источник, например, допускает улучшение синхронизации воспроизведения аудиоданных и воспроизведения видеоданных в случаях, если время задержки аудиотракта превышает время задержки видеотракта, и в случаях, если время задержки видеотракта превышает время задержки аудиотракта, или в случаях, если время задержки аудиотракта равно времени задержки видеотракта.

Например, регулирование временного совмещения между предоставлением аудиоданных и предоставлением видеоданных может приводить к идеальной синхронизации артикуляции по губам воспроизведения аудиоданных и воспроизведения видеоданных.

Например, может быть возможным то, что время задержки аудиотракта более чем на 20 миллисекунд превышает время задержки видеотракта. Устройство-источник может регулировать временное совмещение между предоставлением аудиоданных и предоставлением видеоданных таким образом, что синхронизация артикуляции по губам для этих случаев может достигаться.

Например, если аудиоданные, предоставленные посредством устройства-источника, определяются как декодированные посредством аудиоприемника или устройства воспроизведения аудио посредством использования MPEG-H-кодека, время задержки вследствие декодирования аудиоданных может быть большим, например, превышающим 20 миллисекунд.

Поскольку временное совмещение между предоставлением аудиоданных и предоставлением видеоданных регулируется посредством устройства-источника, синхронизация между воспроизведением аудиоданных и воспроизведением видеоданных в наборе различных устройств может улучшаться, даже если поднабор из набора устройств не допускают обмен данными между собой. Например, синхронизация воспроизведения аудиоданных и воспроизведения видеоданных может улучшаться, даже если устройство в аудиотракте или устройство в видеотракте является несовместимым для обмена данными, например, для передачи информации относительно времени задержки в другое устройство, например, в устройство-источник либо в другое устройство в аудиотракте или в видеотракте.

Устройство-источник выполнено с возможностью автоматически регулировать временное совмещение между предоставлением аудиоданных и предоставлением видеоданных. Например, устройство-источник может допускать обмен данными с устройством-приемником, например, с устройством-аудиоприемником или с устройством-видеоприемником, или с устройством воспроизведения аудио, или с устройством воспроизведения видео, так что устройство-источник может реагировать на изменения времени задержки аудиотракта и/или времени задержки видеотракта таким образом, что устройство-источник может быть выполнено с возможностью регулировать временное совмещение между предоставлением аудиоданных и предоставлением видеоданных согласно этим изменениям. Следовательно, устройство-источник может улучшать синхронизацию воспроизведения видеоданных и воспроизведения аудиоданных очень надежным способом.

Например, устройство-источник может допускать достижение синхронизации артикуляции по губам в случае, если время аудиозадержки более чем на 20 мс превышает время видеозадержки.

Например, устройство-источник может быть совместимым со спецификацией HDMI 1.4 и/или HDMI 2.0.

Например, устройство-источник может превосходить скорость и надежность существующих алгоритмов управления синхронизацией артикуляции по губам (которые задаются только для случаев, в которых время аудиозадержки более чем 20 мс меньше времени видеозадержки).

Согласно варианту осуществления, устройство-источник выполнено с возможностью получать или принимать, или считывать с носителя данных, или формировать кодированное видеопредставление, декодировать кодированное видеопредставление для того, чтобы получать декодированное видеопредставление, и предоставлять видеоданные таким образом, что видеоданные представляют декодированное видеопредставление, например, в необработанном формате данных, представляющем отдельные пикселы. Устройство-источник дополнительно выполнено с возможностью избирательно задерживать декодирование кодированного видеопредставления, например, посредством задержки или буферизации кодированного видеопредставления, на основе информации относительно времени задержки аудиотракта и информации относительно времени задержки видеотракта, например, если время задержки аудиотракта превышает время задержки видеотракта. Задержка декодирования кодированного видеопредставления (например, декодирования из представления, содержащего межкадровые зависимости и/или описывающего движение между двумя кадрами, в независимое представление пиксельных значений для отдельных кадров) представляет собой очень эффективный способ задерживать предоставление видеоданных, например, в отличие от задержки декодированного видеопредставления. Поскольку устройство-источник комбинирует функцию декодирования кодированного видеопредставления с функцией предоставления как видеоданных, так и аудиоданных, оно может регулировать временное совмещение очень эффективно и может допускать достижение очень точной синхронизации между воспроизведением аудиоданных и воспроизведением видеоданных.

Например, устройство-источник может быть выполнено с возможностью получать кодированное аудиопредставление и предоставлять аудиоданные таким образом, что аудиоданные представляют кодированное аудиопредставление. Таким образом, аудиоданные возможно должны декодироваться посредством устройства-аудиоприемника или устройства воспроизведения аудио до того, как устройство-аудиоприемник может предоставлять слышимую аудиоинформацию на основе аудиоданных. В случаях, если время задержки аудиотракта превышает время задержки видеотракта, например, вследствие большого времени аудиозадержки, вызываемого посредством декодирования аудиоданных посредством устройства-аудиоприемника или устройства воспроизведения аудио, может быть необходимым задерживать предоставление видеоданных посредством устройства-источника для достижения синхронизации артикуляции по губам или, по меньшей мере, улучшения синхронизации воспроизведения аудио и воспроизведения видео. Устройство-источник выполнено с возможностью эффективно задерживать предоставление видеоданных посредством задержки декодирования кодированного видеопредставления.

Согласно варианту осуществления изобретения, устройство-источник выполнено с возможностью получать информацию относительно времени задержки аудиотракта с использованием информации аудиозадержки, которая получается из устройства воспроизведения аудио, например, из устройства декодирования аудио, например, звуковой панели, через один из одного или более цифровых интерфейсов. Устройство-источник дополнительно выполнено с возможностью получать информацию относительно времени задержки видеотракта с использованием информации видеозадержки, которая получается из устройства рендеринга видео, например, из телевизора, через один из одного или более цифровых интерфейсов. За счет получения информации относительно времени задержки аудиотракта из информации аудиозадержки, которая получается из устройства воспроизведения аудио, устройство-источник имеет возможность повышать точность информации относительно времени задержки аудиотракта. Например, устройство-источник может комбинировать информацию аудиозадержки, полученную из устройства воспроизведения аудио, с дополнительной информацией аудиозадержки, полученной из дополнительного устройства в аудиотракте, с тем чтобы получать информацию относительно времени задержки аудиотракта. За счет получения информации относительно времени задержки видеотракта из информации видеозадержки, которая получается из устройства рендеринга видео, может повышаться точность информации относительно времени задержки видеотракта. За счет получения лучшей точности информации относительно времени задержки аудиотракта и/или информации относительно времени задержки видеотракта, устройство-источник может достигать лучшей синхронизации воспроизведения аудио и воспроизведения видео посредством очень точного регулирования временного совмещения между предоставлением аудиоданных и предоставлением видеоданных.

Согласно варианту осуществления изобретения, устройство-источник выполнено с возможностью согласовывать время задержки при декодировании с устройством воспроизведения аудио, например, с устройством воспроизведения аудио, выполненным с возможностью декодировать аудиоданные, и регулировать временное совмещение в зависимости от согласованного времени задержки при декодировании. Время задержки при декодировании, например, может представлять собой время задержки при декодировании аудио устройства воспроизведения аудио, выполненного с возможностью декодировать аудиоданные. Время задержки при декодировании аудио может представлять собой время, которое устройство воспроизведения аудио требует или использует для декодирования аудиоданных. Например, устройство-источник может согласовывать время задержки при декодировании на основе времени задержки при декодировании видео для декодирования кодированного видеопредставления. Например, устройство-источник может согласовывать время задержки при декодировании таким образом, чтобы адаптировать время задержки при декодировании ко времени задержки при декодировании видео. Посредством согласования времени задержки при декодировании с устройством воспроизведения аудио, устройство-источник может минимизировать задержку для предоставления аудиоданных и/или предоставления видеоданных, что требуется для достижения синхронизации артикуляции по губам. Например, устройство-источник может инициировать регулирование времени задержки при декодировании устройства воспроизведения аудио, с тем чтобы уменьшать разность между временем задержки аудиотракта и временем задержки видеотракта таким образом, что регулирование временного совмещения между предоставлением аудиоданных и предоставлением видеоданных посредством устройства-источника может минимизироваться. Таким образом, согласование времени задержки при декодировании между устройством-источником и устройством воспроизведения аудио может снижать период времени между получением видеоданных и аудиоданных и воспроизведением видеоданных и аудиоданных.

Например, устройство-источник может быть выполнено с возможностью выполнять согласование времени задержки (например, заданное посредством DaNoL) между устройством-источником и устройством декодирования аудио таким образом, что можно регулировать время задержки до самого подходящего значения.

Согласно варианту осуществления, устройство-источник выполнено с возможностью получать или запрашивать информацию охвата времен задержки, описывающую охват возможных значений времени задержки, из устройства воспроизведения аудио, например, с использованием сообщения с отчетом по охвату времен задержки или получать информацию списка времен задержки, описывающую одно или более возможных значений времени задержки, например, с использованием сообщения с отчетом по возможным значениям времени задержки, из устройства воспроизведения аудио, например, посредством отправки сообщения с запросом информации времени задержки в устройство воспроизведения аудио. Устройство-источник дополнительно выполнено с возможностью выбирать требуемое значение времени задержки на основе информации охвата времен задержки или информации списка времен задержки, например, таким образом, что требуемое значение времени задержки соответствует информации относительно времени задержки видеотракта. Устройство-источник дополнительно выполнено с возможностью инструктировать устройству воспроизведения аудио использовать требуемое значение времени задержки, например, с использованием сообщения задания времени задержки. Устройство-источник дополнительно выполнено с возможностью регулировать временное совмещение независимо от выбранного требуемого значения времени задержки при воспроизведении аудио. За счет получения информации охвата времен задержки или информации списка времен задержки, устройство-источник допускает выбирание или выбор времени задержки при декодировании либо значения времени задержки из охвата возможных значений времени задержки либо из одного или более возможных значений времени задержки для устройства воспроизведения аудио, которое является совместимым с устройством воспроизведения аудио. Поскольку устройство-источник выполнено с возможностью инструктировать устройству воспроизведения аудио использовать значение времени задержки, выбранное посредством устройства-источника, устройство-источник допускает регулирование значения времени задержки или времени задержки при декодировании аудиоустройства на основе информации относительно времени задержки видеотракта и информации относительно времени задержки аудиотракта и/или времени задержки при декодировании видео устройства-источника. Таким образом, устройство-источник допускает исключение излишне большого времени задержки аудиотракта и видеотракта.

Согласно варианту осуществления, устройство-источник выполнено с возможностью верифицировать то, использует или нет устройство воспроизведения аудио выбранное требуемое значение времени задержки согласно инструкции, и устройство-источник выполнено с возможностью рассматривать значение времени задержки по умолчанию, если устройство воспроизведения аудио не может использовать выбранное требуемое значение времени задержки. Поскольку устройство-источник выполнено с возможностью верифицировать то, использует или нет устройство воспроизведения аудио выбранное требуемое значение времени задержки согласно инструкции, устройство-источник может исключать регулирование временного совмещения между предоставлением аудиоданных и предоставлением видеоданных на основе неправильно допущенного значения времени задержки устройства воспроизведения аудио либо, другими словами, ошибочной информации относительно времени задержки аудиотракта. Поскольку устройство-источник выполнено с возможностью рассматривать значение времени задержки по умолчанию, если устройство воспроизведения аудио не может использовать выбранное требуемое значение времени задержки, устройство-источник по-прежнему может иметь возможность корректно регулировать временное совмещение между предоставлением аудиоданных и предоставлением видеоданных, если согласование времени задержки при декодировании с устройством воспроизведения аудио завершается неудачно.

Согласно варианту осуществления, устройство-источник выполнено с возможностью принимать запрос на согласование времени задержки, содержащий информацию охвата времен задержки, описывающую охват возможных значений времени задержки, из устройства воспроизведения аудио, например, с использованием сообщения с отчетом по охвату времен задержки, или содержащий информацию списка времен задержки, описывающую одно или более возможных значений времени задержки, например, с использованием сообщения с отчетом по возможным значениям времени задержки, из устройства воспроизведения аудио. Устройство-источник дополнительно выполнено с возможностью выбирать требуемое значение времени задержки на основе информации охвата времен задержки или информации списка времен задержки, например, таким образом, что требуемое значение времени задержки соответствует информации относительно времени задержки видеотракта. Поскольку устройство-источник выполнено с возможностью принимать запрос на согласование времени задержки, устройство-источник имеет возможность регулировать или проверять временное совмещение между предоставлением аудиоданных и предоставлением видеоданных на основе запроса из другого устройства таким образом, что устройство-источник может реагировать на изменение времени задержки аудиотракта.

Согласно варианту осуществления изобретения, устройство-источник выполнено с возможностью обнаруживать топологию соединения между устройством-источником и устройством воспроизведения аудио, а также соединения между устройством-источником и устройством рендеринга видео, чтобы получать информацию топологии. Устройство-источник дополнительно выполнено с возможностью регулировать временное совмещение в зависимости от информации топологии. Посредством обнаружения топологии соединения между устройством-источником и устройством рендеринга видео, устройство-источник имеет возможность получать более точную информацию относительно времени задержки видеотракта. Посредством обнаружения топологии соединения между устройством-источником и устройством воспроизведения аудио, устройство-источник имеет возможность получать более точную информацию относительно времени задержки аудиотракта. Например, устройство-источник может получать информацию относительно времени задержки аудиотракта посредством рассмотрения одного или более значений времени задержки одного или более устройств, содержащихся в соединении между устройством-источником и устройством воспроизведения аудио. Например, устройство-источник может получать информацию относительно времени задержки видеотракта посредством рассмотрения одного или более значений времени задержки одного или более устройств, содержащихся в топологии соединения между устройством-источником и устройством рендеринга видео.

Согласно варианту осуществления, устройство-источник выполнено с возможностью получать информацию полного времени аудиозадержки, например, EDID-время аудиозадержки, например, AL_EDIDsource, описывающую полное время задержки аудиотракта для первого аудиорежима, например, для унаследованного аудиорежима или для не-MPEG-H-аудиорежима, или для аудиорежима с низкой задержкой либо описывающую среднее полное время задержки аудиотракта для множества аудиорежимов, например, посредством приема сообщения, представляющего информацию полного времени аудиозадержки. Устройство-источник дополнительно выполнено с возможностью получать информацию полного времени видеозадержки, например, EDID-время видеозадержки, например, VL_EDIDsource, описывающую полное время задержки видеотракта для первого видеорежима, например, для унаследованного видеорежима или для стандартного видеорежима, или для не-MPEG-H-видеорежима либо описывающую среднее полное время задержки видеотракта для множества видеорежимов, например, посредством приема сообщения, представляющего информацию полного времени видеозадержки. Получение информации полного времени аудиозадержки может улучшать информацию относительно времени задержки аудиотракта. Получение информации полного времени видеозадержки может улучшать информацию относительно времени задержки видеотракта. Улучшение информации относительно времени задержки аудиотракта и информации относительно времени задержки видеотракта обеспечивает возможность устройству-источнику более точно регулировать временное совмещение.

Согласно варианту осуществления, устройство-источник выполнено с возможностью выполнять запрос во множество отдельных устройств, например, устройств в цепочке между устройством-источником и устройством воспроизведения аудио или устройств в цепочке между устройством-источником и устройством рендеринга видео, на предмет получения информации отдельного для устройства времени (аудио- и/или видео-)задержки (например, с использованием сообщений "запрос информации времени задержки", или, необязательно, посредством использования сообщения "запрос информации EDID-времени задержки"), при этом информация отдельного для устройства времени (аудио-)задержки, например, может содержать информацию времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, AL_noneMPEG-H, информацию времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, AL_MPEG-H, время задержки, ассоциированное с транзитной пересылкой аудиоинформации для второго аудиорежима, AL_{MPEG-Hpassthrough}, информацию времени задержки, описывающую долю устройства в информации полного времени видеозадержки, VL_EDID, и информацию VL_current текущего времени видеозадержки. Поскольку устройство-источник выполнено с возможностью выполнять запрос во множество отдельных устройств, устройство-источник может получать очень точную информацию относительно времени задержки аудиотракта и/или времени задержки видеотракта таким образом, что устройство-источник может регулировать временное совмещение очень точно, даже в ситуации, в которой используется второй аудиорежим, либо в ситуациях, в которых информация полного времени аудио- и/или видеозадержки, описывающая полное время задержки аудио/видеотракта, является недоступной для устройства-источника, например, поскольку устройство в аудио- и/или видеотракте не поддерживает информацию полного времени задержки.

Согласно варианту осуществления, устройство-источник выполнено с возможностью определять, например, избирательно определять информацию относительно времени задержки видеотракта с использованием суммирования информации отдельного для устройства текущего времени видеозадержки, если информация отдельного для устройства текущего времени видеозадержки является доступной для устройства-источника, для устройства рендеринга видео и всех устройств, например, в видеотракте, между устройством-источником и устройством рендеринга видео. Альтернативно или дополнительно, устройство-источник выполнено с возможностью определять информацию относительно времени задержки видеотракта с использованием: информации полного времени видеозадержки, описывающей полное время задержки видеотракта для первого видеорежима, например, для унаследованного видеорежима или для не-MPEG-H-видеорежима либо описывающей среднее полное время задержки видеотракта для множества видеорежимов; дополнительно с использованием: информации времени задержки, описывающей долю устройства рендеринга видео в информации полного времени видеозадержки, например, VL_EDID; и дополнительно с использованием информации текущего времени видеозадержки устройства рендеринга видео, например, VL_current; если информация полного времени видеозадержки, информация времени задержки, описывающая долю устройства рендеринга видео в информации полного времени видеозадержки, и информация текущего времени видеозадержки устройства рендеринга видео являются доступными для устройства-источника, но некоторая информация отдельного для устройства текущего времени видеозадержки является недоступной для устройства-источника. Альтернативно или дополнительно, устройство-источник выполнено с возможностью определять информацию относительно времени задержки видеотракта с использованием полной информации рендеринга видео, если полная информация рендеринга видео является доступной для устройства-источника, но информация текущего времени видеозадержки устройства рендеринга видео является недоступной для устройства-источника. Альтернативно или дополнительно, устройство-источник может быть выполнено с возможностью определять информацию относительно времени задержки видеотракта с использованием, например, любой известной или оцененной информации времени видеозадержки устройств в видеотракте, доступной иным способом. Таким образом, устройство-источник определяет информацию относительно времени задержки видеотракта в зависимости от доступности долей в информации относительно времени задержки видеотракта, например, долей из множества устройств в видеотракте. Следовательно, устройство-источник по-прежнему может регулировать временное совмещение в случаях, в которых одно или более устройств в видеотракте ни имеют возможности или не могут предоставлять долю в информации относительно времени задержки видеотракта, например, поскольку некоторые устройства являются несовместимыми с протоколом связи или не содержат информацию относительно своего времени задержки. Поскольку устройство-источник может иметь несколько вариантов для того, чтобы определять информацию относительно времени задержки видеотракта, оно может выбирать самый точный способ определять информацию относительно времени задержки видеотракта. Другими словами, устройство-источник может регулировать временное совмещение в комбинации устройств, которые поддерживают или не поддерживают прямую связь с устройством-источником, например, через CEC DaNoL.

Другими словами, устройство-источник может использовать постепенное ухудшение, при котором временное совмещение может постепенно уменьшаться в отношении точности, но по-прежнему может регулироваться, если некоторая информация относительно времени задержки видеотракта является недоступной.

Согласно варианту осуществления, устройство-источник выполнено с возможностью определять, например, избирательно определять информацию относительно времени задержки аудиотракта с использованием суммирования информации отдельного для устройства времени (аудио-)задержки при транзитной пересылке, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима, например, MPEG-H, например, AL_{MPEG-Hpassthrough}, если информация отдельного для устройства времени задержки при транзитной пересылке является доступной для всех устройств, например, в аудиотракте, между устройством-источником и устройством воспроизведения аудио. Альтернативно или дополнительно, устройство-источник выполнено с возможностью определять информацию относительно времени задержки аудиотракта с использованием информации полного времени аудиозадержки, например, EDID-времени аудиозадержки, например AL_EDIDsource, описывающей полное время задержки аудиотракта для первого аудиорежима, например, для унаследованного аудиорежима или для не-MPEG-H-аудиорежима, или для аудиорежима с низкой задержкой либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов, например, посредством приема сообщения, представляющего информацию полного времени аудиозадержки. Необязательно, информация полного времени аудиозадержки может содержать коррекцию времени аудиозадержки устройства-источника. Альтернативно или дополнительно, устройство-источник выполнено с возможностью определять информацию относительно времени задержки аудиотракта с использованием суммирования любой известной или оцененной информации времени аудиозадержки устройств в аудиотракте между устройством-источником и устройством воспроизведения аудио. Первый аудиорежим может представлять собой опорный аудиорежим. Второй аудиорежим может представлять собой аудиорежим, который должен использоваться посредством устройства-источника и посредством устройства воспроизведения аудио. Например, второй аудиорежим может представлять собой MPEG-H-аудиорежим, и первый аудиорежим может представлять собой аудиорежим с низким временем задержки, имеющий время задержки, которое меньше времени задержки второго аудиорежима. Таким образом, устройство-источник определяет информацию относительно времени задержки аудиотракта в зависимости от доступности долей в информации относительно времени задержки аудиотракта, например, долей из множества устройств в аудиотракте. Следовательно, устройство-источник по-прежнему может регулировать временное совмещение в случаях, в которых одно или более устройств в аудиотракте ни имеют возможности или не могут предоставлять долю в информации относительно времени задержки аудиотракта, например, поскольку некоторые устройства являются несовместимыми с протоколом связи или не содержат информацию относительно своего времени задержки. Поскольку устройство-источник может иметь несколько вариантов для того, чтобы определять информацию относительно времени задержки аудиотракта, оно может выбирать самый точный способ определять информацию относительно времени задержки аудиотракта. Другими словами, устройство-источник может использовать постепенное ухудшение, при котором временное совмещение может постепенно уменьшаться в отношении точности, но по-прежнему может регулироваться, если некоторая информация относительно времени задержки аудиотракта является недоступной. Другими словами, устройство-источник может регулировать временное совмещение в комбинации устройств, которые поддерживают или не поддерживают прямую связь с устройством-источником, например, через CEC DaNoL.

Согласно варианту осуществления, устройство-источник выполнено с возможностью корректировать информацию, например, AL_pathEDID, относительно времени задержки аудиотракта, полученную с использованием информации полного времени аудиозадержки, например, AL_EDIDsource, с использованием информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима, например, AL_noneMPEG-H, и с использованием информации времени задержки относительно времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима, например, AL_{MPEG-Hpassthrough}. Поскольку устройство-источник выполнено с возможностью корректировать информацию относительно времени задержки аудиотракта, оно может достигать синхронизации артикуляции по губам в случаях, в которых аудиотракт содержит устройство, которое не может передавать долю в информации относительно времени задержки аудиотракта непосредственно в устройство-источник, например, через CEC. Например, устройство-источник может обнаруживать время задержки аудиотракта, т.е. тракта между устройством-источником и устройством-аудиоприемником или устройством воспроизведения, если аудиоприемник выполнен с возможностью непосредственно обмениваться данными с устройством-источником, например, через CEC, например, CEC DaNoL, и если все устройства в аудиотракте между устройством-источником и устройством-приемником поддерживают EDID.

Согласно варианту осуществления, устройство-источник выполнено с возможностью выбирать правило определения для определения информации относительно времени задержки видео- (или аудио-)тракта в зависимости от объема информации, доступного для устройства-источника, например, в зависимости от доступности информации отдельного для устройства времени задержки при транзитной пересылке для всех устройств, например, устройств в аудиотракте, между устройством-источником и устройством воспроизведения аудио и/или в зависимости от доступности информации полного времени аудиозадержки, например, EDID-времени аудиозадержки, например, AL_EDIDsource, описывающей полное время задержки аудиотракта для первого аудиорежима, например, для унаследованного аудиорежима или для не-MPEG-H-аудиорежима, или для аудиорежима с низкой задержкой либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов. Посредством выбора правила определения в зависимости от объема информации, доступного для устройства-источника, устройство-источник может повышать или оптимизировать точность информации относительно времени задержки видеотракта.

Другими словами, устройство-источник может быть выполнено с возможностью задавать приоритеты для каждой (или некоторой) полученной информации и использует только (или главным образом) самые надежные свойства, но регулирование временного совмещения может работать вплоть до уровня оцененных значений.

Согласно варианту осуществления, устройство-источник выполнено с возможностью определять задержку, которая должна применяться при предоставлении аудиоданных, и/или задержку, которая должна применяться при предоставлении видеоданных, например, чтобы за счет этого регулировать временное совмещение, в зависимости от информации относительно времени задержки видеотракта и в зависимости от информации относительно времени задержки аудиотракта. Посредством определения задержки, которая должна применяться при предоставлении аудиоданных и/или при предоставлении видеоданных, временное совмещение может регулироваться очень эффективно.

Другими словами, устройство-источник, например, может быть выполнено с возможностью регулировать время аудиозадержки и время видеозадержки независимо для каждого (или, по меньшей мере, для нескольких) из аудиокодеков и даже для дополнительных разновидностей аудиокодеков.

Согласно варианту осуществления, устройство-источник выполнено с возможностью также предоставлять возможность регулирования временного совмещения с использованием пользовательского интерфейса, например, с использованием ползунка. Посредством предоставления возможности пользователю регулировать временное совмещение, синхронизация артикуляции по губам может достигаться вручную, даже если объем информации относительно времени задержки видеотракта и аудиотракта, доступного для устройства-источника, является недостаточным или неточным, либо часть или информация относительно времени задержки видеотракта и аудиотракта является ошибочной.

Согласно варианту осуществления, устройство-источник выполнено с возможностью обмениваться данными с устройством воспроизведения аудио и/или с устройством рендеринга видео, и/или с одним или более устройств, например, устройств в тракте передачи сигналов, например, в аудиотракте, между устройством-источником и устройством воспроизведения аудио, и/или с одним или более устройств, например, в тракте передачи сигналов, например, в видеотракте, между устройством-источником и устройством рендеринга видео с использованием дополнительного канала связи, который является отдельным от одного или более цифровых мультимедийных интерфейсов, например, WLAN или Ethernet или Bluetooth либо другого сетевого соединения, чтобы получать информацию времени задержки из одного или более устройств. Посредством обмена данными через дополнительный канал связи, синхронизация воспроизведения видео и воспроизведения аудио может улучшаться, без учета характеристик устройства воспроизведения аудио и/или устройства рендеринга видео, и/или одного или более устройств для того, чтобы передавать информацию времени задержки через один или более цифровых мультимедийных интерфейсов.

Согласно варианту осуществления, устройство-источник выполнено с возможностью выполнять CEC-обнаружение и/или согласование времен задержки, как описано в главе D.1. "CEC-обнаружение и согласование времен задержки (CEC DaNoL)".

Согласно варианту осуществления, устройство-источник, например, как описано выше, выполнено с возможностью выполнять одну или более функциональностей или этапов, как описано в главе C.1. "MPEG-H-алгоритм регулирования задержек источников (MASDA)".

Дополнительный вариант осуществления согласно изобретению предоставляет устройство-приемник, например, устройство воспроизведения аудио, при этом устройство-приемник выполнено с возможностью принимать аудиоданные через цифровой мультимедийный интерфейс, например, HDMI-интерфейс или "мультимедийный интерфейс высокой четкости" версии 1.4 или обратно совместимой версии, при этом устройство-приемник выполнено с возможностью декодировать принимаемые аудиоданные для того, чтобы получать декодированные аудиоданные, и при этом устройство-приемник выполнено с возможностью выводить декодированные выходные данные, например, с использованием одного или более громкоговорителей или с использованием аналогового интерфейса, такого как аналоговый аудиопорт или гнездо для наушников. Устройство-приемник дополнительно выполнено с возможностью сообщать информацию отдельного для устройства времени задержки, которая содержит информацию времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, например, режима воспроизведения с низким временем задержки или режима воспроизведения с использованием первого входного формата данных, например, AL_noneMPEG-H, и информацию времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, например, режима воспроизведения с высоким времени задержки или режима воспроизведения с использованием второго входного формата данных, AL_MPEG-H, в ответ на запрос из устройства-источника, например, с использованием HDMI CEC-сообщения, например, с использованием сообщения "информация времени задержки", которое выводится посредством устройства-приемника в ответ на сообщение "запрос информации времени задержки", принимаемое из устройства-источника. В альтернативном и необязательном примере, устройство-приемник выполнено с возможностью сообщать информацию отдельного для устройства времени задержки с использованием "информация времени задержки", которое выводится посредством устройства-приемника в ответ на сообщение "запрос информации времени задержки", принимаемое из устройства-источника, например, для сообщения информации времени задержки, ассоциированной со вторым аудиорежимом, и устройство-приемник выполнено с возможностью сообщать информацию отдельного для устройства времени задержки с использованием сообщения "информация EDID-времени задержки", которое выводится посредством устройства-приемника в ответ на сообщение "запрос информации EDID-времени задержки", принимаемое из устройства-источника, например, для сообщения информации времени задержки, ассоциированной с первым аудиорежимом. Поскольку устройство-приемник выполнено с возможностью сообщать информацию времени задержки, время задержки устройства-приемника может рассматриваться посредством устройства, принимающего информацию времени задержки, например, устройства-источника, таким образом, что вывод декодированных выходных данных посредством устройства-приемника может регулироваться с возможностью быть более синхронным с воспроизведением видеоданных, принадлежащих аудиоданным, например, посредством устройства-приемника или устройства воспроизведения. Посредством сообщения информации времени задержки (например, информации отдельного для устройства времени задержки) для множества различных режимов воспроизведения, устройство-приемник, например, может обеспечивать возможность устройству-источнику выбирать соответствующий режим воспроизведения (например, режим воспроизведения, который соответствует задержке устройства воспроизведения видео) и/или обеспечивать возможность устройству-источнику корректировать информацию полного времени (аудио- и/или видео-)задержки на основе информации отдельного для устройства времени задержки.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью согласовывать время задержки при декодировании или время задержки при воспроизведении, ассоциированное со вторым аудиорежимом, с устройством-источником. Посредством согласования времени задержки при декодировании, время задержки при декодировании может регулироваться как небольшое, например, как максимально возможно небольшое для того, чтобы достигать синхронизации артикуляции по губам между выводом декодированных аудиоданных и воспроизведением связанных видеоданных.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью предоставлять информацию охвата времен задержки, описывающую охват возможных значений времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник, например, через цифровой мультимедийный интерфейс, например, с использованием сообщения "отчет по охвату времен задержки" или сообщения "отчет по охвату времен задержки". Альтернативно, устройство-приемник выполнено с возможностью предоставлять информацию списка времен задержки, описывающую одно или более возможных значений времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник, например, с использованием сообщения "отчет по возможным значениям времени задержки". Например, устройство-приемник может быть выполнено с возможностью предоставлять информацию охвата времен задержки или информацию списка времен задержки в ответ на прием сообщения "запрос информации времени задержки" из устройства-источника. Устройство-приемник дополнительно выполнено с возможностью принимать сообщение выбора времени задержки, например, сообщение "задание времени задержки" с использованием HDMI CEC-механизма, из устройства-источника и задавать время задержки при декодировании или время задержки при воспроизведении в ответ на сообщение выбора времени задержки. Устройство-приемник, допускающее предоставление информации охвата времен задержки или информации списка времен задержки, обеспечивает эффективное согласование времени задержки при декодировании.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью предоставлять долю в информации полного времени аудиозадержки, например, во EDID-времени аудиозадержки, например, AL_EDIDsource, описывающей полное время задержки аудиотракта для первого аудиорежима, например, для унаследованного аудиорежима или для не-MPEG-H-аудиорежима, или для аудиорежима с низкой задержкой либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов, например, посредством приема сообщения, представляющего информацию полного времени аудиозадержки, при этом доля в информации полного времени аудиозадержки отличается от информации времени задержки, ассоциированной с воспроизведением с использованием второго аудиорежима. Например, устройство-приемник может быть выполнено с возможностью суммировать свою долю в полном времени аудиозадержки со значением времени задержки, принимаемым во входящем сообщении, получать увеличенное значение времени задержки и перенаправлять сообщение с увеличенным значением времени задержки. Посредством предоставления доли в информации полного времени задержки, устройство-приемник может обеспечивать соображение своего времени задержки в синхронизации вывода декодированных аудиоданных и воспроизведении связанных видеоданных, в частности, если устройство-приемник принимает аудиоданные из устройства-источника, несовместимого для обмена данными с устройством-приемником непосредственно, например, через CEC или CEC DaNoL, за счет этого обеспечивая совместимость устройства-приемника.

Согласно варианту осуществления, доля в информации полного времени аудиозадержки, предоставленной посредством устройства-приемника, равна информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью выполнять одну или более функциональностей или этапов, описанных в главе D.1. "CEC-обнаружение и согласование времен задержки (CEC DaNoL)".

Устройство-приемник основывается на идеях, идентичных идеям для устройства-источника, описанного выше. Например, устройство-приемник может использоваться в комбинации с устройством-источником. Таким образом, устройство-приемник может комбинироваться с любыми признаками относительно устройства-приемника или устройства воспроизведения, описанными в контексте устройства-источника. Дополнительно, вышеописанные преимущества устройства-источника в равной степени применяются к устройству-приемнику, в частности, при использовании устройства-приемника в комбинации с устройством-источником, описанным выше.

Дополнительный вариант осуществления согласно изобретению предоставляет устройство-приемник, например, устройство воспроизведения видео, при этом устройство-приемник выполнено с возможностью принимать видеоданные через цифровой мультимедийный интерфейс, например, HDMI-интерфейс или "мультимедийный интерфейс высокой четкости" версии 1.4 или обратно совместимой версии, при этом устройство-приемник выполнено с возможностью подготавливать посредством рендеринга принимаемые видеоданные. Устройство-приемник дополнительно выполнено с возможностью сообщать информацию отдельного для устройства времени задержки, которая содержит (например, статическую, предварительно заданную) информацию времени задержки, представляющую долю, например, VL_EDID, в информации полного времени видеозадержки, например, в EDID-времени видеозадержки, например, VL_EDIDsource, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов, например, посредством предоставления сообщения, представляющего информацию полного времени видеозадержки. Информация отдельного для устройства времени задержки дополнительно содержит информацию времени задержки, представляющую фактическое время задержки рендеринга видеоданных. Поскольку устройство-приемник выполнено с возможностью сообщать отдельное для устройства время задержки, время задержки устройства-приемника может рассматриваться посредством устройства, принимающего отдельное для устройства время задержки, например, устройства-источника, таким образом, что воспроизведение видеоданных, подготовленных посредством рендеринга посредством устройства-приемника, может регулироваться с возможностью быть более синхронным с воспроизведением аудиоданных, принадлежащих видеоданным, например, посредством устройства-приемника или устройства воспроизведения.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью предоставлять долю устройства-приемника в информации полного времени видеозадержки, например, в EDID-времени видеозадержки, например, VL_EDIDsource, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов, например, посредством предоставления сообщения, представляющего информацию полного времени видеозадержки, при этом доля в информации полного времени аудио-(или видео-)задержки отличается от информации времени задержки, представляющей фактическое время задержки рендеринга видеоданных. Например, устройство-приемник может быть выполнено с возможностью суммировать свою долю в полном времени видеозадержки со значением времени задержки, принимаемым во входящем сообщении, получать увеличенное значение времени задержки и перенаправлять сообщение с увеличенным значением времени задержки. Например, устройство-приемник может быть выполнено с возможностью инициировать новую цепочку для отправки информации полного времени видеозадержки, например, посредством отправки сообщения, содержащего ее долю в информации полного времени видеозадержки. Например, устройство-приемник может быть выполнено с возможностью предоставлять свою долю в информации полного времени видеозадержки в устройство-источник при прямой связи, например, через CEC. Посредством предоставления доли в информации полного времени видеозадержки, устройство-приемник может обеспечивать возможность устройству-источнику улучшать синхронизацию воспроизведения видеоданных, подготовленных посредством рендеринга посредством устройства-приемника, и воспроизведения аудиоданных.

Согласно варианту осуществления, информация отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника, также содержит информацию времени задержки, ассоциированную с воспроизведением аудио с использованием первого аудиорежима, например, аудиорежима с низким временем задержки, AL_noneMPEG-H.Дополнительно или альтернативно, информация отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника, также содержит информацию среднего времени задержки, ассоциированную с воспроизведением аудио с использованием множества различных режимов, например, AL_noneMPEG-H. Дополнительно или альтернативно, информация отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника, также содержит информацию времени задержки, ассоциированную с транзитной пересылкой аудиоинформации для второго аудиорежима, например, AL_{MPEG-Hpassthrough}. Посредством предоставления множества информации отдельного для устройства времени задержки, устройство-приемник может обеспечивать возможность устройству-источнику улучшать синхронизацию воспроизведения видеоданных, подготовленных посредством рендеринга посредством устройства-приемника, и воспроизведения аудиоданных.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью предоставлять долю в информации полного времени аудиозадержки, например, во EDID-времени аудиозадержки, например, AL_EDIDsource, описывающей полное время задержки аудиотракта для первого аудиорежима, например, для унаследованного аудиорежима или для не-MPEG-H-аудиорежима, или для аудиорежима с низкой задержкой либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов, например, посредством приема сообщения, представляющего информацию полного времени аудиозадержки, при этом доля в информации полного времени аудиозадержки отличается от информации времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима. Посредством предоставления доли в информации полного времени аудиозадержки, устройство-приемник может обеспечивать возможность устройству-источнику улучшать синхронизацию воспроизведения видеоданных, подготовленных посредством рендеринга посредством устройства-приемника, и воспроизведения аудиоданных.

Согласно варианту осуществления, устройство-приемник выполнено с возможностью предоставлять информацию отдельного для устройства времени задержки таким образом, что информация отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника, содержит информацию времени задержки, ассоциированную с перенаправлением аудиоданных из первого цифрового мультимедийного интерфейса во второй цифровой мультимедийный интерфейс, при этом, например, второй цифровой мультимедийный интерфейс может иметь тип, идентичный типу первого цифрового мультимедийного интерфейса, или при этом, например, первый цифровой мультимедийный интерфейс и второй цифровой мультимедийный интерфейс могут иметь различные типы, или при этом, например, первый цифровой мультимедийный интерфейс и второй цифровой мультимедийный интерфейс могут использовать различные протоколы, или при этом первый цифровой мультимедийный интерфейс представляет собой HDMI-порт, а второй цифровой мультимедийный интерфейс представляет собой S/PDIF-интерфейс. Посредством предоставления информации времени задержки, ассоциированной с перенаправлением аудиоданных из первого цифрового мультимедийного интерфейса во второй цифровой мультимедийный интерфейс, устройство-приемник может обеспечивать возможность устройству-источнику улучшать синхронизацию воспроизведения видеоданных, подготовленных посредством рендеринга посредством устройства-приемника, и воспроизведения аудиоданных в случае, если устройство воспроизведения аудио соединяется (прямо или косвенно) с устройством-приемником, так что устройство-приемник, например, может функционировать в качестве разделителя сигнала, описывающего аудиоданные, и сигнала, описывающего видеоданные.

Дополнительный вариант осуществления согласно изобретению предоставляет способ для предоставления аудиоданных и видеоданных по одному или более цифровых мультимедийных интерфейсов, например, HDMI-портов, например, согласно спецификации HDMI 1.4 или выше, при этом способ содержит автоматическое регулирование временного совмещения между предоставлением аудиоданных, например, в форме аудиопотока и предоставлением видеоданных, например, в форме видеопотока, на основе информации относительно времени задержки аудиотракта, например, от предоставления аудиоданных посредством устройства-источника до предоставления слышимой аудиоинформации и на основе информации относительно времени задержки видеотракта, например, от предоставления аудиоданных посредством устройства-источника до предоставления видимых видеоданных.

Дополнительный вариант осуществления согласно изобретению предоставляет способ для управления устройством-приемником, например, устройством воспроизведения аудио, при этом способ содержит прием аудиоданных через цифровой мультимедийный интерфейс, например, HDMI-интерфейс или "мультимедийный интерфейс высокой четкости" версии 1.4 или обратно совместимой версии, при этом способ содержит декодирование принимаемых аудиоданных для того, чтобы получать декодированные аудиоданные, и при этом способ содержит вывод декодированных выходных данных, например, с использованием одного или более громкоговорителей или с использованием аналогового интерфейса, такого как аналоговый аудиопорт или гнездо для наушников. Способ дополнительно содержит сообщение информации отдельного для устройства времени задержки, которая содержит информацию времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, например, режима воспроизведения с низким временем задержки или режима воспроизведения с использованием первого входного формата данных, например, AL_noneMPEG-H, и информацию времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, например, режима воспроизведения с высоким временем задержки или режима воспроизведения с использованием второго входного формата данных, AL_MPEG-H, в ответ на запрос из устройства-источника, например, с использованием HDMI CEC-сообщения, например, с использованием сообщения "информация времени задержки", которое выводится посредством устройства-приемника в ответ на сообщение "запрос информации времени задержки", принимаемое из устройства-источника.

Дополнительный вариант осуществления согласно изобретению предоставляет способ для управления устройством-приемником, например, устройством воспроизведения видео, при этом способ содержит прием видеоданных через цифровой мультимедийный интерфейс, например, HDMI-интерфейс или "мультимедийный интерфейс высокой четкости" версии 1.4 или обратно совместимой версии, при этом способ содержит рендеринг принимаемых видеоданных; при этом способ содержит сообщение информации отдельного для устройства времени задержки, которая содержит (например, статическую, предварительно заданную) информацию времени задержки, представляющую долю, например, VL_EDID, в информации полного времени видеозадержки, например, в EDID-времени видеозадержки, например, VL_EDIDsource. Информация отдельного для устройства времени задержки дополнительно содержит описание полного времени задержки видеотракта или описание среднего полного времени задержки видеотракта для множества видеорежимов, например, посредством предоставления сообщения, представляющего информацию полного времени видеозадержки; информация отдельного для устройства времени задержки дополнительно содержит информацию времени задержки, представляющую фактическое время задержки рендеринга видеоданных.

Описанные способы основываются на идеях, идентичных идеям для устройств, описанных выше, предоставляющих одинаковые или эквивалентные функциональности и преимущества. Способы могут необязательно комбинироваться (или дополняться посредством) с любыми из признаков, функциональностей и подробностей, описанных в данном документе относительно соответствующего устройства, т.е. устройства-источника или устройств-приемников. Способы могут необязательно комбинироваться с упомянутыми признаками, функциональностями и подробностями отдельно либо в любой их комбинации.

Дополнительный вариант осуществления согласно изобретению предоставляет компьютерную программу для осуществления, по меньшей мере, одного из способов, описанных выше, когда компьютерная программа выполняется на компьютере.

Краткое описание чертежей

Далее подробнее описываются варианты осуществления настоящего раскрытия сущности в отношении чертежей, на которых:

Фиг. 1 показывает схематичное представление устройства-источника согласно варианту осуществления,

Фиг. 2 показывает схематичное представление устройства-источника согласно дополнительному варианту осуществления,

Фиг. 3 показывает блок-схему модуля регулирования для регулирования временного совмещения согласно варианту осуществления,

Фиг. 4 показывает блок-схему последовательности операций способа блока согласования времени задержки согласно варианту осуществления,

Фиг. 5A-I показывает схематичные представления различных компоновок устройств-источников, устройств воспроизведения аудио и устройств рендеринга видео согласно вариантам осуществления,

Фиг. 6 показывает схематичное представление устройства-приемника, например, устройства воспроизведения аудио, согласно варианту осуществления.

Фиг. 7 показывает схематичное представление устройства-приемника, например, устройства воспроизведения аудио, согласно дополнительному варианту осуществления.

Фиг. 8 показывает схематичное представление устройства-приемника, например, устройства рендеринга видео, согласно варианту осуществления.

Фиг. 9 показывает схематичное представление устройства-приемника, например, устройства рендеринга видео, согласно дополнительному варианту осуществления,

Фиг. 10 показывает блок-схему способа для предоставления аудиоданных и видеоданных согласно варианту осуществления,

Фиг. 11 показывает блок-схему способа для управления устройством-приемником, например, устройством воспроизведения аудио, согласно варианту осуществления,

Фиг. 12 показывает блок-схему способа для управления устройством-приемником, например, устройством рендеринга видео, согласно варианту осуществления,

Табл. 1 перечисляет значения для связи для согласования времени задержки согласно варианту осуществления,

Табл. 2 перечисляет сообщения для обнаружения времен задержки и согласования времени задержки согласно варианту осуществления,

Табл. 3 перечисляет сообщения для обнаружения времен задержки и согласования времени задержки согласно необязательному варианту осуществления,

Табл. 4 перечисляет значения для связи для согласования времени задержки согласно необязательному варианту осуществления.

Подробное описание вариантов осуществления

Далее описываются различные изобретаемые варианты осуществления и аспекты. Некоторые варианты осуществления описываются в отношении чертежей. Дополнительные варианты осуществления описываются в главах D.1 "CEC-обнаружение и согласование времен задержки (CEC DaNoL)" и C.1 "MPEG-H-алгоритм регулирования задержек источников (MASDA)". Кроме того, дополнительные варианты осуществления задаются посредством прилагаемой формулы изобретения.

Следует отметить, что любые варианты осуществления, заданные посредством формулы изобретения, могут дополняться посредством любых из подробностей (признаков и функциональностей), описанных в данном документе. Кроме того, варианты осуществления, описанные в данном документе, могут использоваться отдельно и также необязательно могут дополняться посредством любых из подробностей (признаков и функциональностей), включенных в формулу изобретения. Кроме того, следует отметить, что отдельные аспекты, описанные в данном документе, могут использоваться отдельно или в комбинации. Таким образом, подробности могут добавляться в каждый из упомянутых отдельных аспектов без добавления подробностей в другой из упомянутых аспектов. Также следует отметить, что настоящее раскрытие сущности описывает явно или неявно признаки, применимые в аудио- и/или видеоустройствах. Таким образом, любые из признаков, описанных в данном документе, могут использоваться в контексте аудио- и/или видеоустройства.

Кроме того, признаки и функциональности, раскрытые в данном документе по отношению к способу, также могут использоваться в оборудовании (выполненном с возможностью выполнять такую функциональность). Кроме того, любые признаки и функциональности, раскрытые в данном документе относительно оборудования, также могут использоваться в соответствующем способе. Другими словами, способы, раскрытые в данном документе, могут дополняться посредством любых из признаков и функциональностей, описанных относительно оборудования.

Изобретение должно лучше пониматься из подробного описания, приведенного ниже, и из прилагаемых чертежей вариантов осуществления изобретения, которые, тем не менее, не должны рассматриваться как ограничение изобретения описанными конкретными вариантами осуществления, а служат только для пояснения и понимания.

Ниже по тексту, первая цифра трехразрядной ссылки соответствует номеру чертежа, к которому относится ссылка.

A. Устройство-источник согласно фиг. 1

Фиг. 1 показывает схематичное представление устройства-источника 100 для предоставления аудиоданных 160 и видеоданных 165 по одному или более цифровых мультимедийных интерфейсов 170. Устройство-источник 100 выполнено с возможностью автоматически регулировать временное совмещение 150 между предоставлением аудиоданных 160 и предоставлением видеоданных 165 на основе информации 110 относительно времени задержки аудиотракта 180 и на основе информации 120 относительно времени задержки видеотракта 190.

Например, аудиотракт 180 соединяется с первым из одного или более цифровых мультимедийных интерфейсов 170, и видеотракт 190 соединяется со вторым из одного или более цифровых мультимедийных интерфейсов 170 либо также соединяется с первым из одного или более цифровых мультимедийных интерфейсов 170. Таким образом, аудиотракт 180 и видеотракт 190 могут быть отдельными или могут перекрываться, по меньшей мере, частично.

Аудиотракт 180 может представлять собой тракт передачи сигналов для сигнала, представляющего аудиоданные 160, предоставляемые в одном из одного или более цифровых мультимедийных интерфейсов, по всему одному из одного или более цифровых мультимедийных интерфейсов для преобразования сигнала в слышимый сигнал или акустический сигнал. Аудиотракт содержит время задержки, которое может представлять собой временной охват от предоставления сигнала в одном из одного или более цифровых мультимедийных интерфейсов до вывода слышимого сигнала или акустического сигнала, например, посредством устройства в аудиотракте 180. Таким образом, время задержки аудиотракта может представлять собой временной охват, который требуется сигналу для того, чтобы завершать аудиотракт 180.

Видеотракт 190 может представлять собой тракт передачи сигналов для сигнала, представляющего видеоданные 165, предоставляемые в одном из одного или более цифровых мультимедийных интерфейсов, по всему одному из одного или более цифровых мультимедийных интерфейсов для преобразования сигнала в видимый сигнал. Видеотракт содержит время задержки, которое может представлять собой временной охват от предоставления сигнала в одном из одного или более цифровых мультимедийных интерфейсов до вывода видимого сигнала, например, посредством устройства в видеотракте 190. Таким образом, время задержки видеотракта может представлять собой временной охват, который требуется сигналу для того, чтобы завершать видеотракт 190.

Устройство-источник 100 содержит модуль 102 регулирования, выполненный с возможностью получать информацию 110 относительно времени задержки аудиотракта 180 и информацию 120 относительно времени задержки видеотракта 190. Модуль 102 регулирования выполнен с возможностью автоматически получать временное совмещение 150. Модуль 102 регулирования содержит модуль 130 вычисления, выполненный с возможностью регулировать или вычислять временное совмещение 130 на основе информации 110 относительно времени задержки аудиотракта 180 и информации 120 относительно времени задержки видеотракта 190.

Следует подчеркнуть, что устройство-источник 100 согласно фиг. 1 необязательно может дополняться посредством всех признаков, функциональностей и подробностей, которые описываются в данном документе относительно других устройств-источников. Соответствующие признаки, функциональности и подробности могут необязательно добавляться в устройство-источник 100 отдельно либо в любой их комбинации.

B. Устройство-источник согласно фиг. 2

Фиг. 2 показывает схематичное представление устройства-источника 200 согласно варианту осуществления. Устройство-источник 200, например, может соответствовать устройству-источнику 100.

Устройство-источник 200 выполнено с возможностью предоставлять аудиоданные 260 в аудиотракт 280, например, в кодированном представлении аудиоданных 260. Аудиотракт 280 может соответствовать аудиотракту 180.

Аудиотракт 280 содержит устройство 282 воспроизведения аудио, например, устройство-аудиоприемник или устройство декодирования аудио, которое выполнено с возможностью воспроизводить аудиоданные 260, т.е. предоставлять слышимую аудиоинформацию на основе аудиоданных 260. Например, устройство 282 воспроизведения аудио выполнено с возможностью декодировать аудиоданные 260.

Устройство 282 воспроизведения аудио выполнено с возможностью работать, например, в первом аудиорежиме или во втором аудиорежиме. Первый аудиорежим может быть связан с типом декодирования аудиоданных или с типом воспроизведения аудиоданных, например, унаследованный режим или не-MPEG-H-режим. MPEG-H-режим может быть связан с декодированием аудиоданных согласно MPEG-H-кодеку. Второй аудиорежим может быть связан с высококачественным аудиорежимом или с времязатратным типом декодирования аудиоданных. Например, второй аудиорежим может быть связан с типами декодирования, которые содержат время задержки при декодировании более чем в 20 мс, или с MPEG-H-режимом.

Аудиотракт 280 необязательно может содержать дополнительные устройства, например, устройство воспроизведения видео или соединительное устройство, или повторитель, или неактивное аудио- и/или видеоустройство. Дополнительное устройство может быть выполнено с возможностью транзитно пересылать аудиоданные 260. Дополнительное устройство может быть выполнено с возможностью управлять или поддерживать первый аудиорежим и/или второй аудиорежим.

Устройство-источник 200 выполнено с возможностью предоставлять видеоданные 265 в видеотракт 290, например, в декодированном представлении видеоданных 265. Видеотракт 290 может соответствовать видеотракту 190.

Видеотракт 290 содержит устройство 292 воспроизведения видео, например, устройство-видеоприемник или устройство рендеринга видео, которое выполнено с возможностью воспроизводить видеоданные 265, т.е. предоставлять видимую видеоинформацию на основе видеоданных 265.

Устройство 292 воспроизведения видео может быть выполнено с возможностью подготавливать посредством рендеринга видеоданные 265, например, с использованием первого или второго видеорежима, например, игрового режима или кинорежима. Устройство 292 воспроизведения видео может представлять собой часть аудиотракта 280.

Видеотракт 290 необязательно может содержать дополнительные устройства, например, устройство воспроизведения аудио или соединительное устройство, или повторитель, или неактивное аудио- и/или видеоустройство, например, аудиоустройство 282. Дополнительное устройство может быть выполнено с возможностью транзитно пересылать видеоданные 265.

Устройство-источник 200 содержит модуль 202 регулирования, который выполнен с возможностью автоматически регулировать временное совмещение 250, которое может соответствовать временному совмещению 150. Модуль 202 регулирования содержит модуль 230 вычисления, который выполнен с возможностью вычислять временное совмещение 250 на основе информации 210 относительно времени задержки аудиотракта 280 и на основе информации 220 относительно времени задержки видеотракта 290.

Информация 210 относительно времени задержки аудиотракта может содержать информацию относительно времени задержки тракта между устройством-источником 200 и устройством 282 воспроизведения аудио и времени задержки при декодировании устройства 282 воспроизведения аудио.

Устройство-источник 200 содержит декодер 266. Декодер 266 выполнен с возможностью декодировать кодированное представление 267 видеоданных для того, чтобы получать видеоданные 265 в декодированном видеопредставлении. Устройство-источник 200 выполнено с возможностью предоставлять декодированное видеопредставление видеоданных 265 по одному или более цифровых мультимедийных интерфейсов 270.

Устройство-источник 200 может быть выполнено с возможностью задерживать предоставление аудиоданных 260 на основе временного совмещения 250. Например, устройство-источник 200 может быть выполнено с возможностью задерживать предоставление аудиоданных 260, если время задержки видеотракта 290 превышает время задержки аудиотракта 280. Устройство-источник 200 может быть выполнено с возможностью задерживать декодирование видеоданных 267, если время задержки аудиотракта 280 превышает время задержки видеотракта 290.

Другими словами, устройство-источник 200 выполнено с возможностью получать кодированное видеопредставление 267. Устройство-источник 200 дополнительно выполнено с возможностью декодировать кодированное видеопредставление 267, с тем чтобы получать декодированное видеопредставление. Устройство-источник 200 выполнено с возможностью предоставлять видеоданные 265 таким образом, что видеоданные 265 представляют декодированное видеопредставление. Устройство-источник 200 дополнительно выполнено с возможностью избирательно задерживать декодирование кодированного видеопредставления на основе информации 210 относительно времени задержки аудиотракта 280 и информации 220 относительно времени задержки видеотракта 290.

Другими словами, устройство-источник 200 выполнено с возможностью задерживать декодирование видеоданных 267 посредством декодера 266 на основе временного совмещения 250.

Устройство-источник 200 выполнено с возможностью получать информацию 210 относительно времени задержки аудиотракта 280 с использованием информации 212 аудиозадержки, которая получается из устройства воспроизведения аудио через один из одного или более цифровых интерфейсов 270. Например, устройство-источник 200 получает информацию 212 аудиозадержки из устройства в аудиотракте 280. Дополнительно или альтернативно, устройство-источник 200 выполнено с возможностью получать информацию 220 относительно времени задержки видеотракта 290 с использованием информации 222 видеозадержки, которая получается из устройства рендеринга видео через один из одного или более цифровых интерфейсов 270. Например, устройство-источник 200 выполнено с возможностью получать информацию 222 видеозадержки из устройства в видеотракте 290.

Информация 212 аудиозадержки может содержать информацию 214 полного времени аудиозадержки. Информация 214 полного времени аудиозадержки может содержать сумму времен аудиозадержки устройств вдоль, по меньшей мере, части аудиотракта 280. Информация 214 полного времени аудиозадержки может содержать времена задержки, связанные с первым аудиорежимом. Например, информация 214 полного времени аудиозадержки может содержать времена задержки, ассоциированные или связанные с временем задержки при транзитной пересылке или с временем задержки при воспроизведении, или с временем задержки при декодировании для первого аудиорежима. Информация 214 полного времени аудиозадержки, например, может представлять собой время аудиозадержки, сообщаемое в EDID-информации, например, AL_EDIDsource.

Информация 212 аудиозадержки дополнительно может содержать информацию 216 отдельного для устройства времени аудиозадержки. Например, информация 216 отдельного для устройства времени аудиозадержки может содержать долю 217 в отдельном для устройства времени аудиозадержки, которая может представлять собой долю устройства в информации 214 полного времени аудиозадержки. Доля 217 в отдельном для устройства времени аудиозадержки, например, может представлять собой время задержки, ассоциированное с воспроизведением аудиоданных, например, в первом аудиорежиме, например, в не-MPEG-H-режиме, например, AL_none-MPEG-H. Доля 217 в отдельном для устройства времени аудиозадержки также может быть связана с временем задержки, ассоциированным с транзитной пересылкой аудиоданных посредством устройства. Время задержки, ассоциированное с транзитной пересылкой, например, может представлять собой временной охват от ввода сигнала в устройство до вывода сигнала из устройства, при этом сигнал может оставаться неизменным.

Информация 216 отдельного для устройства времени аудиозадержки также может содержать информацию 218 декодирования аудио, которая может представлять собой информацию относительно времени задержки, ассоциированного с воспроизведением аудиоданных, например, декодированием и/или выводом слышимых аудиоданных, во втором аудиорежиме, например, в MPEG-H-режиме. Информация 218 декодирования аудио может называться "AL_MPEG-H".

Информация 216 отдельного для устройства времени аудиозадержки дополнительно может содержать информацию 219 отдельного для устройства времени задержки при транзитной пересылке, которая может означать информацию относительно времени задержки, ассоциированного с транзитной пересылкой аудиоданных во втором аудиорежиме, например, для предоставления аудиоданных для другого устройства в аудиотракте, причем другое устройство работает во втором аудиорежиме. Например, информация 219 отдельного для устройства времени задержки при транзитной пересылке может означать AL_{MPEG-Hpassthrough}.

Информация 222 видеозадержки может содержать информацию 224 полного времени видеозадержки. Информация 224 полного времени видеозадержки может содержать сумму отдельных для устройства времен видеозадержки, например, сумму времен видеозадержки устройств в видеотракте 290. Информация 224 полного времени видеозадержки, например, может сообщаться в EDID-информации. Информация 224 полного времени видеозадержки может называться "VL_EDIDsource".

Информация 222 видеозадержки дополнительно может содержать информацию 226 отдельного для устройства времени видеозадержки. Информация 226 отдельного для устройства времени видеозадержки может содержать долю 227 в отдельном для устройства времени видеозадержки, например, отдельную для устройства долю устройства в видеотракте 290 в информации 222 полного времени видеозадержки. Доля 227 в отдельном для устройства времени видеозадержки может содержать информацию относительно времени задержки, ассоциированного с воспроизведением видеоданных или транзитной пересылкой видеоданных, например, времени задержки транзитной пересылки или времени задержки при воспроизведении. Доля 227 в отдельном для устройства времени видеозадержки может называться "VL_EDID".

Информация 226 отдельного для устройства времени видеозадержки дополнительно может содержать информацию 228 текущего времени видеозадержки. Информация 228 текущего времени видеозадержки может содержать информацию относительно времени задержки, ассоциированного с воспроизведением или рендерингом видеоданных, например, временного охвата между вводом сигнала, например, сигнала, представляющего видеоданные, в устройство, например, в устройство воспроизведения видео, и выводом сигнала в качестве видимого сигнала посредством устройства.

Другими словами, устройство-источник 200 выполнено с возможностью получать информацию 214 полного времени аудиозадержки, описывающую полное время задержки аудиотракта 280 для первого аудиорежима. Дополнительно или альтернативно, устройство-источник 200 может быть выполнено с возможностью получать информацию 224 полного времени видеозадержки, описывающую полное время задержки видеотракта 290 для первого видеорежима или видеорежима.

Модуль 202 регулирования может содержать модуль 240 связи, который может быть выполнен с возможностью принимать информацию 222 видеозадержки и информацию 212 аудиозадержки.

Модуль 240 связи выполнен с возможностью обмениваться данными с устройством 282 воспроизведения аудио и/или устройством 292 рендеринга видео либо другим устройством в видео- и/или аудиотракте через цифровой мультимедийный интерфейс 270. Таким образом, устройство-источник 400 выполнено с возможностью отправлять сообщение и принимать сообщение в/из устройства 282 воспроизведения аудио и/или устройства 292 рендеринга видео либо другого устройства в видео- и/или аудиотракте.

Например, связь между устройством-источником 400 и устройством 482 воспроизведения аудио может указываться посредством протокола связи, например, посредством протокола связи CEC (управления бытовыми электронными приборами), который описывается, например, в HDMI 1.4b-CEC.

Например, связь между устройством-источником 400 и устройством 482 воспроизведения аудио может выполняться так, как описано в главе D.1, и/или согласно сообщениям и правилам, как описано в табл. 2 или альтернативно и необязательно в табл. 3.

Например, устройство-источник 400 может быть выполнено с возможностью передавать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, в одно или более устройств-приемников (например, с использованием отдельной непосредственной адресации устройства-приемника или широковещательной передачи), и (если применимо) принимать соответствующее сообщение ответа из одного или более устройств-приемников (например, в цепочке устройств-приемников) и использовать информацию, включенную в соответствующее сообщение ответа (например, для регулирования временного совмещения).

Альтернативно, например, устройство-источник 400 может быть выполнено с возможностью принимать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, из одного или более устройств-приемников, и (если применимо) передавать (например, с использованием отдельной непосредственной адресации устройства-приемника или широковещательной передачи) соответствующее сообщение ответа в одно или более устройств-приемников (например, в цепочке устройств-приемников), включающее в себя информацию относительно отдельного для устройства времени задержки.

Модуль 240 связи дополнительно может быть выполнен с возможностью запрашивать информацию 216 отдельного для устройства времени аудиозадержки и/или информацию 226 отдельного для устройства времени видеозадержки. Таким образом, модуль 240 связи выполнен с возможностью передавать в устройства в аудиотракте 280 и/или видеотракте 290. Например, модуль 240 связи может запрашивать устройство на предмет того, чтобы передавать его информацию 216 отдельного для устройства времени аудиозадержки и/или его информацию 226 отдельного для устройства времени видеозадержки.

Другими словами, устройство-источник 200 выполнено с возможностью выполнять запрос во множество отдельных устройств на предмет их информации отдельного для устройства времени задержки, т.е. на предмет их информации 216 отдельного для устройства времени аудиозадержки и/или их информации 226 отдельного для устройства времени видеозадержки.

Модуль 240 связи дополнительно может быть выполнен с возможностью согласовывать отдельное для устройства время 280 задержки при воспроизведении аудио с устройством воспроизведения аудио, например, с устройством воспроизведения аудио, работающем во втором аудиорежиме, например, в MPEG-H-режиме.

Устройство-источник 200 необязательно может содержать пользовательский интерфейс 205. Пользовательский интерфейс 205 выполнен с возможностью принимать пользовательское регулирование 206. Пользовательский интерфейс 205 дополнительно выполнен с возможностью регулировать временное совмещение 250 согласно пользовательскому регулированию 206. Пользовательский интерфейс 205 может быть выполнен с возможностью принимать сигнал, содержащий пользовательское регулирование 206. Альтернативно или дополнительно, пользовательский интерфейс 205 может обеспечивать возможность пользователю взаимодействовать непосредственно с устройством-источником 200.

В случае если одно или более устройств в аудиотракте 280 и/или видеотракте 290 являются несовместимыми для связи с устройством-источником 200 либо не могут передавать корректную информацию относительно своего времени задержки, то модуль 202 регулирования может регулировать временное совмещение 250 в недостаточной степени. Пользовательский интерфейс 205 предоставляет среднее значение для пользователя, чтобы регулировать временное совмещение 250 вручную, например, помимо автоматического регулирования временного совмещения 250 посредством модуля 202 регулирования.

Другими словами, устройство-источник 200 выполнено с возможностью также предоставлять возможность регулирования 206 временного совмещения 250 с использованием пользовательского интерфейса 205.

Устройство-источник необязательно может содержать дополнительный канал 207 связи, например, интерфейс связи, выполненный с возможностью обмениваться данными или обмениваться данными с устройством. Дополнительный канал 207 связи выполнен с возможностью обмениваться данными с устройством в аудиотракте 280 и/или видеотракте 290, например, с устройством 282 воспроизведения аудио, с устройством 290 рендеринга видео либо с другим устройством. Дополнительный канал 207 связи, например, может обмениваться данными через WLAN, Ethernet, Bluetooth либо другое проводное или беспроводное соединение. Устройство-источник 200 может быть выполнено с возможностью запрашивать и/или принимать, и/или согласовывать информацию времени задержки, например, информацию 212 аудиозадержки и/или информацию 222 видеозадержки, через дополнительный канал 207 связи. Устройство-источник 200 выполнено с возможностью получать информацию времени задержки из устройства 282 воспроизведения аудио и/или устройства 292 рендеринга видео, и/или другого устройства. Например, модуль 202 регулирования может получать информацию через дополнительный канал 207 связи или использовать дополнительный канал 207 связи для связи, например, связи посредством модуля 240 связи.

Другими словами, устройство-источник 200 выполнено с возможностью обмениваться данными с устройством 282 воспроизведения аудио и/или с устройством 292 рендеринга видео, и/или с одним или более устройств между устройством-источником 200 и устройством 282 воспроизведения аудио, и/или с одним или более устройств между устройством-источником 200 и устройством 292 рендеринга видео с использованием дополнительного канала 207 связи, который является отдельным от одного или более цифровых мультимедийных интерфейсов 270 для того, чтобы получать информацию времени задержки из одного или более устройств.

Дополнительные сведения по модулю 202 регулирования описываются в контексте модуля 302 регулирования, описанного на фиг. 3, признаки которого могут осуществляться в модуле 302 регулирования отдельно или в комбинации друг с другом.

C. Модуль регулирования для регулирования временного совмещения согласно фиг. 3

Фиг. 3 показывает блок-схему модуля 302 регулирования для регулирования временного совмещения 350 согласно варианту осуществления. Модуль 302 регулирования может соответствовать модулю 102 регулирования или модулю 202 регулирования. Временное совмещение 350 может соответствовать временному совмещению 150 или временному совмещению 250, которое может использоваться для задержки аудиоданных 160, 260 или видеоданных 165, 265, как описано в разделах A и B. Фиг. 3 описывает принцип работы модуля 302 регулирования с использованием принципиальной блок-схемы.

Для регулирования временного совмещения 350 между предоставлением аудиоданных, например, аудиоданных 160, 260 и предоставлением видеоданных, например, видеоданных 165, 265, модуль 302 регулирования содержит модуль 340 связи, например, модуль 240 связи, выполненный с возможностью получать информацию 310 относительно времени задержки аудиотракта, например, аудиотракта 180, 280 и получать информацию 320 относительно времени задержки видеотракта, например, видеотракта 190, 290.

Модуль 340 связи содержит модуль 341 обнаружения, выполненный с возможностью получать информацию 395 топологии, которая содержит топологию аудиотракта и/или топологию видеотракта. На основе информации 395 топологии, модуль 340 связи может запрашивать информацию отдельного для устройства времени задержки или может определять то, как обрабатывать информацию аудиозадержки, например, информацию 212 аудиозадержки и/или информацию видеозадержки, например, информацию 222 видеозадержки.

Например, модуль 341 обнаружения может быть выполнен с возможностью обмениваться данными с использованием CEC-команд, например, команд, описанных в главе D.1, и/или согласно сообщениям и правилам, как описано в табл. 2 или альтернативно и необязательно в табл. 3.

Например, модуль 341 обнаружения может быть выполнен с возможностью передавать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, в одно или более устройств-приемников (например, с использованием отдельной непосредственной адресации устройства-приемника или широковещательной передачи), и (если применимо) принимать соответствующее сообщение ответа из одного или более устройств-приемников (например, в цепочке устройств-приемников) и использовать информацию, включенную в соответствующее сообщение ответа (например, для получения информации 395 топологии).

Топология аудиотракта, например, может описывать соединение между одним из одного или более цифровых мультимедийных интерфейсов, например, цифровых мультимедийных интерфейсов 170, 270 и устройством воспроизведения аудио для воспроизведения аудиоданных, например, устройством 282 воспроизведения аудио. Топология аудиотракта, например, может содержать информацию, по меньшей мере, относительно части устройств в аудиотракте. Например, топология аудиотракта может содержать определенное число устройств в аудиотракте. Топология аудиотракта дополнительно может содержать информацию относительно устройств в аудиотракте, например, типа устройств в аудиотракте и/или характеристик устройств в аудиотракте, например, информацию относительно возможностей устройств в отношении передачи своих свойств через цифровой мультимедийный интерфейс.

Топология видеотракта, например, может описывать соединение между одним из одного или более цифровых мультимедийных интерфейсов, например, цифровых мультимедийных интерфейсов 170, 270 и устройством воспроизведения видео для воспроизведения видеоданных, например, устройством 292 воспроизведения видео. Топология видеотракта, например, может содержать информацию, по меньшей мере, относительно части устройств в видеотракте. Например, топология видеотракта может содержать определенное число устройств в видеотракте. Топология видеотракта дополнительно может содержать информацию относительно устройств в видеотракте, например, типа устройств в видеотракте и/или характеристик устройств в видеотракте, например, информацию относительно возможностей устройств в отношении передачи своих свойств через цифровой мультимедийный интерфейс.

Другими словами, устройство-источник 300 выполнено с возможностью обнаруживать топологию соединения между устройством-источником 300 и устройством воспроизведения аудио, а также соединения между устройством-источником 300 и устройством рендеринга видео, чтобы получать информацию 395 топологии, и при этом устройство-источник 300 выполнено с возможностью регулировать временное совмещение 350 в зависимости от информации 395 топологии.

Модуль 340 связи дополнительно содержит модуль 342 считывания полного времени задержки, выполненный с возможностью получать или принимать информацию 314 полного времени аудиозадержки, например, информацию 214 полного времени аудиозадержки и/или информацию 324 полного времени видеозадержки, например, информацию 224 полного времени видеозадержки. Например, модуль 342 считывания полного времени задержки может быть выполнен с возможностью принимать информацию 314 полного времени аудиозадержки и/или информацию 324 полного времени видеозадержки из устройства в аудиотракте и/или видеотракте, соответственно, например, из устройства, которое является ближайшим к устройству-источнику в пределах соединения между устройством-источником и устройством воспроизведения аудио и/или устройством воспроизведения видео. Например, модуль 342 считывания полного времени задержки может быть выполнен с возможностью считывать EDID-информацию устройства, которое находится в аудиотракте и/или в видеотракте. EDID-информация может содержать информацию 314 полного времени аудиозадержки, например, EDID-время AL_EDIDsource аудиозадержки и/или информацию 324 полного времени видеозадержки, например, и EDID-время VL_EDIDsource видеозадержки.

Модуль связи дополнительно содержит модуль 343 согласования времени задержки, выполненный с возможностью согласовывать время задержки при декодировании, например, время задержки при декодировании аудио, с устройством воспроизведения аудио, например, с устройством 282 воспроизведения аудио. Таким образом, например, модуль 343 согласования времени задержки может быть выполнен с возможностью выбирать время задержки при декодировании, которое должно использоваться посредством устройства воспроизведения аудио для декодирования аудиоданных, при этом модуль 343 согласования времени задержки может быть выполнен с возможностью выбирать время задержки при декодировании, которое является совместимым с устройством воспроизведения аудио. Например, модуль 343 согласования времени задержки может быть выполнен с возможностью выбирать время задержки при декодировании на основе текущего значения временного совмещения 350 или на основе, по меньшей мере, части информации 310 относительно времени задержки аудиотракта и/или, по меньшей мере, части информации относительно времени задержки видеотракта 320. В результате согласования времени задержки при декодировании с устройством воспроизведения аудио, модуль 343 согласования времени задержки может получать или может иметь сведения по информации 318 времени задержки при декодировании аудио, например, информации 218 времени задержки при декодировании аудио, которая может соответствовать согласованному времени задержки при декодировании устройства воспроизведения аудио, которое, например, может работать во втором аудиорежиме. Подробности относительно модуля 343 согласования описываются на фиг. 4.

Модуль 340 связи дополнительно содержит модуль 344 сбора. Модуль 344 сбора выполнен с возможностью собирать или получать информацию отдельного для устройства времени задержки, например, информацию 316 отдельного для устройства времени аудиозадержки (например, информацию 216 отдельного для устройства времени аудиозадержки) и/или информацию 326 отдельного для устройства времени видеозадержки (например, информацию 316 отдельного для устройства времени видеозадержки). Информация 316 отдельного для устройства времени аудиозадержки может содержать, по меньшей мере, одно из доли 317 в отдельном для устройства времени аудиозадержки (например, доли 217 в отдельном для устройства времени аудиозадержки), времени 318 задержки при декодировании аудио (например, времени 218 задержки при декодировании аудио) и информации 319 отдельного для устройства времени задержки при транзитной пересылке (например, информации 219 отдельного для устройства времени задержки при транзитной пересылке). Информация 326 отдельного для устройства времени видеозадержки может содержать, по меньшей мере, одно из доли 327 в отдельном для устройства времени видеозадержки (например, доли 227 в отдельном для устройства времени видеозадержки) и информации 328 текущего времени видеозадержки (например, информации 228 текущего времени видеозадержки).

Например, модуль 344 сбора может быть выполнен с возможностью обмениваться данными с использованием CEC-команд, например, команд, описанных в главе D.1, и/или согласно сообщениям и правилам, как описано в табл. 2 или альтернативно и необязательно в табл. 3.

Например, модуль 344 сбора может быть выполнен с возможностью передавать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, в одно или более устройств-приемников (например, с использованием отдельной непосредственной адресации устройства-приемника или широковещательной передачи), и (если применимо) принимать соответствующее сообщение ответа из одного или более устройств-приемников (например, в цепочке устройств-приемников) и использовать информацию, включенную в соответствующее сообщение ответа (например, для получения информации 316 отдельного для устройства времени аудиозадержки и/или информации 326 отдельного для устройства времени задержки).

Например, модуль 344 сбора выполнен с возможностью запрашивать информацию отдельного для устройства времени задержки и/или принимать информацию отдельного для устройства времени задержки. Модуль 344 сбора может быть выполнен с возможностью обмениваться данными с устройством в аудиотракте и/или видеотракте, например, через цифровой мультимедийный интерфейс, например, цифровой мультимедийный интерфейс 170, 270, через протокол связи. Протокол связи, например, может быть связан с цифровым мультимедийным интерфейсом. Например, протокол связи может указываться для HDMI. Например, протокол связи может представлять собой протокол управления бытовыми электронными приборами (CEC).

Например, модуль 344 сбора может быть выполнен с возможностью запрашивать информацию отдельного для устройства времени задержки из устройства, которое представляет собой часть топологии аудиотракта и/или части топологии видеотракта, содержащейся в информации 395 топологии. Например, модуль 344 сбора может быть выполнен с возможностью отправлять сообщение в устройство, описанное посредством информации 395 топологии. Модуль 344 сбора может быть выполнен с возможностью принимать информацию отдельного для устройства времени задержки из устройства при запросе.

Модуль 302 регулирования дополнительно содержит модуль 331 вычисления абсолютного времени видеозадержки. Модуль 331 вычисления абсолютного времени видеозадержки выполнен с возможностью получать информацию 320 относительно времени задержки видеотракта на основе информации видеозадержки, например, информации 222 видеозадержки, которая может содержать информацию 324 полного времени видеозадержки и/или информацию 326 отдельного для устройства времени видеозадержки. Модуль 331 вычисления абсолютного времени видеозадержки выполнен с возможностью вычислять, по меньшей мере, часть информации 320 относительно времени задержки видеотракта в зависимости от информации видеозадержки, т.е. в зависимости от объема и типа информации, содержащейся в информации видеозадержки.

Например, информация видеозадержки может содержать информацию 328 текущего времени видеозадержки для каждого устройства в видеотракте, как описано посредством топологии видеотракта в информации 395 топологии. В этом случае, модуль 331 вычисления абсолютного времени видеозадержки может вычислять информацию 320 относительно времени задержки видеотракта посредством суммирования информации 328 текущего времени видеозадержки всех устройств в видеотракте. Например, модуль 331 вычисления абсолютного времени видеозадержки может суммировать информацию 328 текущего времени видеозадержки всех устройств между устройством-источником и устройством рендеринга видео и информацию 328 текущего времени видеозадержки устройства рендеринга видео. Вычисление информации 320 относительно времени задержки видеотракта на основе информации 228 текущего времени видеозадержки всех устройств в видеотракте может представлять собой самый надежный способ вычислять информацию 320 относительно времени задержки видеотракта.

Если информация времени видеозадержки содержит информацию 324 полного времени видеозадержки и, по меньшей мере, долю 327 в отдельном для устройства времени видеозадержки и информацию 328 текущего времени видеозадержки устройства рендеринга видео, модуль 331 вычисления абсолютного времени видеозадержки может получать информацию 320 относительно времени задержки видеотракта посредством использования второго вычисления 333 времени видеозадержки. Второе вычисление 333 времени видеозадержки, например, может быть выполнено с возможностью корректировать информацию 324 полного времени видеозадержки посредством исправления доли устройства рендеринга видео в информации 324 полного времени видеозадержки. Например, второе вычисление 333 времени видеозадержки может заменять долю посредством доли 327 в отдельном для устройства времени видеозадержки устройства рендеринга видео в информации 324 полного времени видеозадержки посредством информации 328 текущего времени видеозадержки устройства рендеринга видео. Таким образом, второе вычисление 333 времени видеозадержки может корректировать информацию 324 полного времени видеозадержки в случаях, в которых доля 327 в отдельном для устройства времени видеозадержки устройства рендеринга видео не представляет истинное текущее время видеозадержки устройства рендеринга видео.

Если информация видеозадержки содержит информацию 324 полного времени видеозадержки, модуль 331 вычисления абсолютного времени видеозадержки может, альтернативно или дополнительно, получать информацию 320 относительно времени задержки видеотракта посредством использования третьего вычисления 334 времени видеозадержки. Третье вычисление 334 времени видеозадержки выполнено с возможностью использовать информацию 324 полного времени видеозадержки. Например, третье вычисление 334 времени видеозадержки может быть выполнено с возможностью использовать значение информации 324 полного времени видеозадержки в качестве значения для информации 320 относительно времени задержки видеотракта.

Альтернативно или дополнительно, модуль 331 вычисления абсолютного времени видеозадержки может использовать четвертое вычисление 335 времени видеозадержки для получения информации 320 относительно времени задержки видеотракта. Четвертое вычисление 335 времени видеозадержки, например, может быть выполнено с возможностью использовать информацию 328 текущего времени видеозадержки всех известных устройств в видеотракте, т.е. всех устройств, описанных в топологии видеотракта, содержащейся в информации 395 топологии. Дополнительно, четвертое вычисление 335 времени видеозадержки может использовать оцененную информацию времени видеозадержки для устройства рендеринга видео. Оцененная информация времени видеозадержки устройства рендеринга видео, например, может представлять собой информацию 328 текущего времени видеозадержки устройства рендеринга видео или информацию времени видеозадержки, полученную посредством дополнительного протокола, например, динамической аудиосинхронизации артикуляции по губам (DALS) или посредством значения по умолчанию.

Модуль 331 вычисления абсолютного времени видеозадержки может быть выполнен с возможностью выбирать между первым вычислением 332 времени видеозадержки, вторым вычислением 333 времени видеозадержки, третьим вычислением 334 времени видеозадержки и четвертым вычислением 335 времени видеозадержки на основе доступности информации, например, на основе контента информации видеозадержки.

Другими словами, устройство-источник выполнено с возможностью выбирать правило определения для определения информации 320 относительно времени задержки видеотракта в зависимости от объема информации, доступного для устройства-источника.

Другими словами, устройство-источник выполнено с возможностью определять информацию 320 относительно времени задержки видеотракта посредством использования суммирования информации 328 отдельного для устройства текущего времени видеозадержки, если информация 328 отдельного для устройства текущего времени видеозадержки является доступной для устройства-источника, для устройства рендеринга видео и всех устройств между устройством-источником и устройством рендеринга видео. Дополнительно или альтернативно, устройство-источник выполнено с возможностью определять информацию 320 относительно времени задержки видеотракта 320 посредством использования информации 324 полного времени видеозадержки, описывающей полное время задержки видеотракта для первого видеорежима либо описывающей среднее полное время задержки видеотракта для множества видеорежимов, информации 327 времени задержки, описывающей долю устройства рендеринга видео в информации 324 полного времени видеозадержки (например, долю 327 в отдельном для устройства времени видеозадержки), и информации 328 текущего времени видеозадержки устройства рендеринга видео, в случае информации 324 полного времени видеозадержки, информация 327 времени задержки, описывающая долю устройства рендеринга видео в информации 324 полного времени видеозадержки, и информация 328 текущего времени видеозадержки устройства рендеринга видео является доступной для устройства-источника, но некоторая информация 328 отдельного для устройства текущего времени видеозадержки является недоступной для устройства-источника. Дополнительно или альтернативно, устройство-источник выполнено с возможностью определять информацию 320 относительно времени задержки видеотракта посредством использования информации 324 полного времени видеозадержки, если информация 224 полного времени видеозадержки является доступной для устройства-источника, но информация 328 текущего времени видеозадержки устройства рендеринга видео является недоступной для устройства-источника.

Модуль 302 регулирования дополнительно содержит модуль 336 вычисления абсолютного времени задержки в аудиотракте. Модуль 336 вычисления абсолютного времени задержки в аудиотракте выполнен с возможностью получать информацию 310 относительно времени задержки аудиотракта на основе информации аудиозадержки, например, информации 212 аудиозадержки. Информация аудиозадержки может содержать информацию 314 полного времени аудиозадержки, которая может получаться посредством модуля 342 считывания полного времени задержки. Информация аудиозадержки дополнительно может содержать информацию 316 отдельного для устройства времени аудиозадержки, которая может получаться посредством модуля 344 сбора. Если информация аудиозадержки содержит информацию 316 отдельного для устройства времени аудиозадержки для каждого устройства в аудиотракте, т.е. для всех устройств, описанных посредством топологии аудиотракта, содержащейся в информации 395 топологии, модуль 336 вычисления абсолютного времени задержки в аудиотракте может быть выполнен с возможностью получать информацию 310 относительно времени задержки аудиотракта посредством использования первого вычисления 337 времени задержки в аудиотракте. Первое вычисление 337 времени задержки в аудиотракте может использовать информацию 219 отдельного для устройства времени задержки при транзитной пересылке для всех устройств в аудиотракте, например, для всех устройств между устройством-источником и устройством воспроизведения аудио, например, за исключением устройства воспроизведения аудио.

Модуль 336 вычисления абсолютного времени задержки в аудиотракте дополнительно может быть выполнен с возможностью вычислять информацию 310 относительно времени задержки аудиотракта с использованием второго вычисления 338 времени задержки в аудиотракте, если информация аудиозадержки содержит информацию 314 полного времени аудиозадержки. Второе вычисление 338 времени задержки в аудиотракте выполнено с возможностью использовать информацию 314 полного времени аудиозадержки и, необязательно, долю 317 в отдельном для устройства времени аудиозадержки устройства воспроизведения аудио, чтобы получать время задержки аудиотракта между устройством-источником и устройством воспроизведения аудио, например, за исключением времени задержки устройства воспроизведения. Например, если устройство воспроизведения аудио находится в аудиотракте, т.е. информация 314 полного времени аудиозадержки содержит долю устройства воспроизведения аудио, второе вычисление 338 времени задержки в аудиотракте может быть выполнено с возможностью получать информацию 310 относительно времени задержки аудиотракта посредством исключения доли устройства воспроизведения аудио в информации 314 полного времени аудиозадержки из информации 314 полного времени аудиозадержки.

Дополнительно или альтернативно, модуль 336 вычисления абсолютного времени задержки в аудиотракте может быть выполнен с возможностью использовать третье вычисление 339 времени задержки в аудиотракте, которое выполнено с возможностью использовать информацию 319 отдельного для устройства времени задержки при транзитной пересылке для получения информации 310 относительно времени задержки аудиотракта. Третье вычисление 339 времени задержки в аудиотракте может использовать информацию 319 отдельного для устройства времени аудиозадержки при транзитной пересылке известных устройств в аудиотракте, для которых информация 319 отдельного для устройства времени задержки при транзитной пересылке является доступной. Известные устройства в аудиотракте могут представлять собой устройства, описанные посредством топологии аудиотракта в информации 395 топологии. Третье вычисление 339 времени задержки в аудиотракте дополнительно может использовать значение времени задержки по умолчанию, например, в нуль, в качестве дополнительной или альтернативной доли в информации 310 относительно времени задержки аудиотракта.

Например, первое вычисление 337 времени задержки в аудиотракте, вычисление 338 времени задержки в аудиотракте и вычисление 339 времени задержки в аудиотракте могут быть выполнены с возможностью получать первую долю в информации 310 относительно времени задержки аудиотракта, содержащего время задержки аудиотракта между устройством-источником и устройством воспроизведения аудио. Информация 310 относительно времени задержки аудиотракта может содержать вторую долю, содержащую время задержки устройства воспроизведения аудио, например, время 318 задержки при декодировании аудио.

Модуль 336 вычисления абсолютного времени задержки в аудиотракте может быть выполнен с возможностью выбирать между первым вычислением 337 времени задержки в аудиотракте, вторым вычислением 338 времени задержки в аудиотракте и третьим вычислением 339 времени задержки в аудиотракте на основе доступности информации, например, на основе контента информации аудиозадержки. Модуль 336 вычисления абсолютного времени задержки в аудиотракте может наиболее предпочтительно выбирать первое вычисление 337 времени задержки в аудиотракте, если необходимая информация является доступной. Модуль 336 вычисления абсолютного времени задержки в аудиотракте второго мая наиболее предпочтительно выбирает вычисление 338 времени задержки в аудиотракте, если необходимая информация является доступной.

Другими словами, устройство-источник выполнено с возможностью определять информацию относительно времени задержки аудиотракта 310 с использованием суммирования информации 319 отдельного для устройства времени задержки при транзитной пересылке, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима, если информация 319 отдельного для устройства времени задержки при транзитной пересылке является доступной для всех устройств между устройством-источником и устройством воспроизведения аудио. Дополнительно или альтернативно, устройство-источник выполнено с возможностью определять информацию 310 относительно времени задержки аудиотракта с использованием информации 314 полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов. Дополнительно или альтернативно, устройство-источник выполнено с возможностью определять информацию 310 относительно времени задержки аудиотракта с использованием суммирования любой известной или оцененной информации времени аудиозадержки устройств в аудиотракте между устройством-источником и устройством воспроизведения аудио.

Необязательно, модуль 336 вычисления абсолютного времени задержки в аудиотракте содержит модуль 329 коррекции. Модуль 329 коррекции выполнен с возможностью корректировать долю в информации 310 относительно времени задержки аудиотракта, полученную посредством вычисления 338 времени задержки в аудиотракте. Модуль 329 коррекции выполнен с возможностью исправлять долю устройства в аудиотракте между устройством-источником и устройством воспроизведения аудио в информации относительно времени задержки аудиотракта, если устройство в аудиотракте выполнено с возможностью работать во втором аудиорежиме. Модуль 329 коррекции выполнен с возможностью корректировать долю в информации 310 относительно времени задержки аудиотракта посредством использования доли 317 в отдельном для устройства времени аудиозадержки и информации 318 отдельного для устройства времени задержки при воспроизведении аудио устройства во втором аудиорежиме в аудиотракте.

Другими словами, устройство-источник выполнено с возможностью корректировать информацию относительно времени задержки аудиотракта, полученную с использованием информации 214 полного времени аудиозадержки, например, посредством использования второго вычисления 338 времени задержки в аудиотракте, с использованием информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима, например, доли 217 в отдельном для устройства времени задержки при воспроизведении аудио, и с использованием информации времени задержки относительно времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима, например, информации 219 отдельного для устройства времени аудиозадержки при транзитной пересылке.

Модуль 302 регулирования дополнительно содержит модуль 330 вычисления, например, модуль 130, 230 вычисления. Модуль 330 вычисления выполнен с возможностью вычислять временное совмещение 350 на основе информации 310 относительно времени задержки аудиотракта и информации 320 относительно времени задержки видеотракта.

Например, модуль 330 вычисления может вычислять временное совмещение 350 посредством сравнения, по меньшей мере, одной доли в информации 310 относительно времени задержки аудиотракта, по меньшей мере, с одной долей в информации 320 относительно времени задержки видеотракта.

Как описано относительно фиг. 1 и 2, временное совмещение 350 может использоваться в качестве задержки, которая должна применяться при предоставлении аудиоданных и/или предоставлении видеоданных.

Другими словами, устройство-источник выполнено с возможностью определять задержку, которая должна применяться при предоставлении аудиоданных, и/или задержку, которая должна применяться при предоставлении видеоданных, в зависимости от информации 320 относительно времени задержки видеотракта и в зависимости от информации 310 относительно времени задержки аудиотракта.

На фиг. 3, принцип работы модуля 302 регулирования показывается в примерной последовательности рабочих этапов, выполняемых посредством компонентов модуля 302 регулирования. Тем не менее, этапы могут также выполняться в альтернативных последовательностях. Например, модуль 342 считывания полного времени задержки и модуль 343 согласования времени задержки могут работать независимо таким образом, что их рабочие этапы могут выполняться параллельно или в произвольной последовательности. Кроме того, например, модуль 331 вычисления абсолютного времени задержки и модуль 336 вычисления абсолютного времени задержки в аудиотракте могут работать независимо друг от друга.

Следующий раздел C.1 описывает подробный вариант осуществления модуля 302 регулирования. Признаки, функциональности и подробности, описанные в разделе C.1, могут необязательно вводиться в любой из вариантов осуществления, описанных в данном документе, в частности, в модуль 202; 302 регулирования, отдельно и в любой комбинации. Описание в разделе C.1.1 и C.1.2 ссылается на фиг. 3. На фиг. 3, ссылочные обозначения разделов формы (x.x.x), при этом x является числом, ссылаются на следующий раздел C.1, числа в скобках (x) ссылаются на уравнения в разделе C.1.

C.1. MPEG-H-алгоритм регулирования задержек источников (MASDA)

Следует отметить, что в нижеприведенном описании, ссылки на другие варианты осуществления, например, на варианты осуществления по фиг. 1-4 и 6-9, должны рассматриваться в качестве примеров. Такие ссылки не имеют намерение подразумевать, что любые либо все из признаков, показанных на фиг. 1-4 и 6-9, должны присутствовать в нижеприведенных вариантах осуществления.

C.1.1. Введение в надлежащее совмещение аудио и видео (подробности являются необязательными)

Чтобы достигать идеальной синхронизации артикуляции по губам между аудио 160; 260 и видео 165; 265, источник обязан (либо, в некоторых случаях, должен) задерживать или аудио 160; 260, или видео 165; 265. Это выполняется, например, посредством дополнительного времени видеозадержки, VL_additional, или дополнительного времени аудиозадержки, AL_additional. Они вычисляются посредством этой формулы:

(1)

То, аудио 160; 260 или видео 165; 265 должно задерживаться, определяется, например, посредством знака (1), поскольку задержка всегда является положительной, и только одна из них может быть положительной.

Например, время AL_path аудиозадержки аудиотракта, MPEG-H-время

задержки при декодировании аудио и полное время VL_total видеозадержки сначала являются неизвестными для аудио/видеоисточника. Это описание (и, в частности, этот раздел) предлагает алгоритм для того, чтобы получать эту информацию. Аудио/видеоисточник 100; 200; 400 в этом описании (и, в частности, в этой главе), например, представляет собой абонентскую приставку (STB), поскольку телевизор использует только поднабор поясненной функциональности, в котором видеотракт является внутренне известным.

Например, модуль 330 вычисления может быть выполнен с возможностью выполнять вычисление согласно (1). Информация 310 относительно времени задержки аудиотракта может содержать, например, MPEG-H-время

задержки при декодировании аудио, например, время 318 задержки при декодировании аудио и время AL_path аудиозадержки аудиотракта, которое, например, может представлять собой результат, предоставленный посредством модуля 336 вычисления времени задержки в аудиотракте. Информация 320 относительно времени задержки видеотракта, например, может содержать полное время VL_total видеозадержки, которое, например, может представлять собой результат модуля 331 вычисления абсолютного времени видеозадержки. Модуль 330 вычисления выполнен с возможностью регулировать временное совмещение 350, например, VL_additional или AL_additional.

C.1.2. Девять этапов MPEG-H-алгоритма регулирования задержек источников (MASDA)

(Один или более либо все этапы могут использоваться; подробности являются необязательными)

Следующие девять этапов задают MPEG-H-алгоритм регулирования задержек источников (MASDA). Визуальное общее представление MASDA приводится на фиг. 3. В этой главе, используется математический оператор XOR

. Его смысл немного расширяется, чтобы предпочитать первую упомянутую переменную: Член

означает то, что A используется, если доступно, иначе B используется.

C.1.2.1. Обнаружение топологии (подробности являются необязательными)

Обнаружение (например) всех устройств (или, по меньшей мере, некоторых устройств) в тракте передачи аудио- и видеосигналов. Тракт передачи аудиосигналов, например, задается между источником и устройством декодирования аудио. Тракт 190; 290 передачи видеосигналов, например, задается между источником 100; 200; 400 и устройством 292 рендеринга видео (нормально телевизором). Тракт 190; 290 передачи видеосигналов, включающий в себя устройство 292 рендеринга видео, также называется "EDID-цепочкой". Поскольку EDID записывается посредством устройства 292 рендеринга видео и передается через видеотракт 190; 290 в источник 292. Время видеозадержки целой EDID-цепочки называется "полным временем видеозадержки". Обнаружение должно проводиться, например, согласно "8.7.3. Алгоритм обнаружения" (HDMI 1.4b) или "10.9. Алгоритм обнаружения" (HDMI 2.1x).

Для компоновки с телевизором и устройством, допускающим рендеринг аудио, например, использование CEC-признака аудиоуправления системы (например, HDMI 1.4b CEC-таблица 23) для того, чтобы определять то, что выполняет подготовку посредством рендеринга аудио. Например, "состояние системного аудиорежима" включается, если звуковая панель или AVR подготавливает посредством рендеринга аудио, и выключается, если телевизор проводит рендеринг аудио.

Например, этот этап может выполняться посредством модуля 341 обнаружения.

C1.2.2. Считывание EDID (подробности являются необязательными)

EDID может содержать две полезных части информации в конкретном для производителя HDMI-блоке данных (HDMI VSDB). Во-первых, EDID-время

аудиозадержки, например, информацию 214; 314 полного времени аудиозадержки, и во-вторых, EDID-время

видеозадержки, например, информацию 224; 324 полного времени видеозадержки. EDID-время аудиозадержки связано с не-MPEG-H-аудиоформатами или даже со средневзвешенными значениями (см., например, HDMI 2.0a 10.6.1.3). Тем не менее, целесообразно вычислять время задержки в аудиотракте в разделе C.0. Например, если

не содержатся в EDID, или EDID не может считываться, значения по умолчанию используются позднее.

Например, этот этап может выполняться посредством модуля 342 считывания полного времени задержки для того, чтобы получать, например, информацию 214; 314 полного времени аудиозадержки и информацию 224; 324 полного времени видеозадержки.

C1.2.3. Согласование MPEG-H-времени задержки при декодировании аудио через CEC DaNoL (подробности являются необязательными)

На этом этапе, источник и устройство декодирования аудио могут согласовывать MPEG-H-время задержки при декодировании аудио, как описано, например, в разделе D.1. "CEC-обнаружение и согласование времен задержки (CEC DaNoL)". "CEC" означает управление бытовыми электронными приборами и описывается, например, в HDMI 1.4b-CEC. MPEG-H-время

задержки при декодировании аудио затем задается, например, следующим образом:

(2)

C.1.2.4. Сбор информации с помощью CEC DaNoL-протокола (подробности являются необязательными)

Например, использование непосредственно адресованного CEC DaNoL-сообщения "запрос информации времени задержки" (как описано в табл. 2) для того, чтобы запрашивать полезную информацию из каждого устройства n в аудио- и видеотракте (или, альтернативно, из некоторых устройств) и (необязательно) соответствующих приемников. Устройства, которые поддерживают CEC DaNoL-сообщения, например, должны отправлять в ответ следующие значения: время 217; 317 аудиозадержки для базовых не-MPEG-H-аудиокодеков,

(идентично суммированному EDID), время 227; 327 видеозадержки, VL_n (идентично суммированному EDID), MPEG-H-время 218; 318 задержки при декодировании аудио,

, MPEG-H-время 219; 319 задержки при транзитной пересылке,

, и текущее время 228; 328 видеозадержки,

(или, необязательно, по меньшей мере, одно или более упомянутых значений). В примерах главы C.0, следующая структура может использоваться для того, чтобы показывать информацию, полученную посредством CEC DaNoL:

.

Альтернативно и необязательно, устройство-источник может использовать несколько сообщений, например, непосредственно адресованные CEC DaNoL-сообщения "запрос информации времени задержки" и "запрос информации EDID-времени задержки" (как описано в табл. 3) для того, чтобы запрашивать полезную информацию из каждого устройства n в аудио- и видеотракте (или, альтернативно, из некоторых устройств) и (необязательно) соответствующих приемников. Устройства, которые поддерживают CEC DaNoL-сообщения согласно табл. 3, например, должны отправлять в ответ следующие значения: время 217; 317 аудиозадержки для базовых не-MPEG-H-аудиокодеков,

(идентично суммированному EDID), время 227; 327 видеозадержки,

(идентично суммированному EDID), MPEG-H-время 218; 318 задержки при декодировании аудио,

, и текущее время 228; 328 видеозадержки,

(или, необязательно, по меньшей мере, одно или более упомянутых значений). Например, устройства должны отправлять время 217; 317 аудиозадержки для базовых не-MPEG-H-аудиокодеков,

(идентично суммированному EDID), и/или время 227; 327 видеозадержки,

(идентично суммированному EDID) в сообщении "информация EDID-времени задержки" в ответ на сообщение "запрос информации EDID-времени задержки" и должны отправлять MPEG-H-время 218; 318 задержки при декодировании аудио,

, и текущее время 228; 328 видеозадержки,

(или, необязательно, по меньшей мере, одно или более упомянутых значений) в сообщении "информация времени задержки" в ответ на сообщение "запрос информации времени задержки". В примерах главы C.0, следующая структура может использоваться для того, чтобы показывать информацию, полученную посредством CEC DaNoL согласно необязательной альтернативе реализации, описанной в табл. 3:

.

Например, модуль 344 сбора может быть выполнен с возможностью выполнять этот этап согласно одному из вышеописанных примеров, чтобы получать из устройства, которое является совместимым для обмена данными с модулем 340 связи, по меньшей мере, часть информации отдельного для устройства времени задержки:

.

C.1.2.5. Вычисление полного времени видеозадержки (подробности являются необязательными)

На этом этапе, вычисляется полное время

видеозадержки. Оно суммирует все времена видеозадержки (или, необязательно, по меньшей мере, некоторые времена видеозадержки) после источника вплоть до устройства воспроизведения видео. Например, доступно два способа для того, чтобы получать информацию. Во-первых, EDID, который считывает источник, и во-вторых, CEC DaNoL-протокол. Оба источника информации не предоставляются, что приводит, например, к четырем различным формулам в зависимости от сценария.

В принципе, полное время видеозадержки должно быть идентичным значению времени видеозадержки, которое источник считывает через EDID. Тем не менее, если телевизор изменяется на специальный кино- или игровой режим, то он не должен изменять свой EDID, но он обязан (или, в некоторых случаях, должен) изменять VL_current, сообщаемое через CEC DaNoL. Это означает то, что качество информации, полученной посредством CEC DaNoL, является гораздо более высоким.

В зависимости от компоновки и характеристик используемых устройств, например, предусмотрено четыре различных способа для вычисления полного времени видеозадержки:

a) Если все устройства в видеотракте и телевизоре понимают CEC DaNoL-сообщения и сообщают допустимое VL_current, полное время видеозадержки представляет собой сумму всех текущих времен видеозадержки в аудиотракте плюс время видеозадержки устройства воспроизведения видео (телевизора):

(3)

Это представляет собой самый надежный способ для того, чтобы вычислять время видеозадержки тракта.

Например, первый модуль 332 вычисления времени видеозадержки может быть выполнен с возможностью вычислять информацию 310 относительно времени задержки видеотракта согласно (3).

b) Если EDID-информация и CEC-информация относительно видеоприемника получаются, полное время видеозадержки представляет собой время видеозадержки, которое источник считывает в EDID, но отрегулированное с текущим временем видеозадержки телевизора (видеоприемника):

(4)

Например, второй модуль 333 вычисления времени видеозадержки может быть выполнен с возможностью вычислять информацию 310 относительно времени задержки видеотракта согласно (4).

c) Если имеется EDID-значение, но DaNoL-значения не получаются из телевизора, время видеозадержки в EDID используется в качестве полного времени видеозадержки.

(5)

Например, третий модуль 334 вычисления времени видеозадержки может быть выполнен с возможностью вычислять информацию 310 относительно времени задержки видеотракта согласно (5).

d) Если EDID-информация не получается, и не все устройства присутствуют, либо устройства вообще не присутствуют в CEC DaNoL-сообщениях поддержки тракта, полное время видеозадержки вычисляется, например, с помощью (6). В HDMI 2.0a 10.7, вводится динамическая автосинхронизация артикуляции по губам (DALS). (В некоторых случаях) можно получать текущее время видеозадержки с помощью этого протокола.

(6)

Например, четвертый модуль 335 вычисления времени видеозадержки может быть выполнен с возможностью вычислять информацию 310 относительно времени задержки видеотракта согласно (3).

C.1.2.6. Определение времени задержки в аудиотракте (подробности являются необязательными)

На этом этапе, вычисляется время AL_path задержки в аудиотракте. Например, оно суммирует все времена аудиозадержки (или, по меньшей мере, некоторые времена аудиозадержки) между источником и устройством декодирования аудио. В зависимости от компоновки и характеристик используемых устройств, например, предусмотрены различные способы вычисления этой информации:

a) Если все устройства в аудиотракте понимают CEC DaNoL-сообщения, время аудиозадержки тракта представляет собой сумму всех MPEG-H-времен задержки при транзитной пересылке в аудиотракте:

(7)

Это представляет собой самый надежный способ для того, чтобы вычислять время аудиозадержки тракта.

Например, первый модуль вычисления времени задержки в аудиотракте 337 может быть выполнен с возможностью вычислять долю в информации 310 относительно времени задержки видеотракта, например, AL_path, согласно (7).

b) Если EDID-информация и CEC-информация относительно приемника получаются, время аудиозадержки тракта представляет собой время аудиозадержки в EDID минус время аудиозадержки для не-MPEG-H-контента приемника:

(8)

Время

аудиозадержки, например, считывается посредством источника через EDID, и время аудиозадержки для не-MPEG-H-контента приемника, например, получается через CEC DaNoL. Если аудиоприемник не находится в EDID-цепочке, вычитание его времени аудиозадержки для не-MPEG-H-контента не требуется.

Например, первый модуль вычисления времени задержки в аудиотракте 338 может быть выполнен с возможностью вычислять долю в информации 310 относительно времени задержки видеотракта, например, AL_path, согласно (8).

c) Если EDID-информация не получается, и не все устройства присутствуют, либо устройства вообще не присутствуют в CEC DaNoL-сообщениях поддержки тракта, время аудиозадержки тракта задается равным нулю плюс все известные MPEG-H-времена задержки при транзитной пересылке тракта:

(9)

C.1.2.7. Регулирование времени задержки в аудиотракте (подробности являются необязательными)

В случаях, если MPEG-H-устройства находятся в аудиотракте, они записывают свое время аудиозадержки в EDID. Но оно может отличаться от MPEG-H-времени задержки при транзитной пересылке, которое применяется для транзитной пересылки MPEG-H-потоков битов. Эта разность необязательно корректируется посредством формулы (при этом, например, могут рассматриваться те устройства, для которых соответствующая информация является доступной):

(10)

Время аудиозадержки тракта является самым подходящим из ранее поясненных вариантов:

C.1.2.8. Вычисление аудио/видеорегулирования (подробности являются необязательными)

В этот момент вся доступная информация для того, чтобы вычислять (1), собирается (или оценивается), релевантные значения подчеркиваются. Вычисленное регулирование должно использоваться для того, чтобы совмещать видео с аудио в источнике.

C.1.2.9. Предоставление возможности регулирования для пользователя (подробности являются необязательными)

Необязательно, предоставление дополнительного ползунка для пользователя, чтобы регулировать аудио/видеосовмещение в диапазоне, например, минимум в [-250, 250 мс] с размером шага, например, по меньшей мере, в 5 мс. Это является полезным (или, в некоторых случаях, необходимым), поскольку устройство рендеринга видео после устройства декодирования аудио может не поддерживать ни EDID, ни CEC DaNoL. Это приводит к отсутствию информации относительно полного времени видеозадержки, что может вызывать несинхронизированное аудио и видео. Единственный способ для того, чтобы решать проблемы, связанные с этим, представляет собой ручной ползунок.

C.1.3. Примеры

(Подробности необязательно могут включаться в варианты осуществления, как отдельно, так и в комбинации; конкретные значения, идентификаторы, названия сообщений должны рассматриваться как необязательные)

Фиг. 5A-I показывают схематичные представления компоновок устройств-источников, например, STB, устройств воспроизведения аудио, например, звуковых панелей, устройств рендеринга видео, например, телевизоров, и других устройств согласно вариантам осуществления. Фиг. 5A-I, на которые ссылается этот раздел, содержат прямоугольники, которые символизируют устройства, соединенные посредством HDMI-соединения, показанного как черная стрелка. Физический адрес устройств написан поверх устройства. Телевизор всегда имеет физический адрес 0.0.0.0. Эта система обозначений поясняется в HDMI 1.4b 8.7. EDID, который устройство должно сообщать в следующее устройство, указывается под прямоугольником.

Например, представление на фиг. 5A-I может содержать устройства, представленные посредством прямоугольников. Значения внутри прямоугольников, например, могут означать информацию отдельного для устройства времени задержки. AL необязательно может означать долю в отдельном для устройства времени аудиозадержки, например, долю 217; 317 в отдельном для устройства времени аудиозадержки. AL_MPEG-Hнеобязательно может означать время задержки при декодировании аудио с использованием второго аудиорежима, например, время 218; 318 задержки при декодировании аудио. VL необязательно может означать долю в отдельном для устройства времени видеозадержки, например, долю 227; 327 в отдельном для устройства времени видеозадержки.

Например, устройство-источник 500A-I необязательно может получать соответствующую информацию 514A-I полного времени аудиозадержки, например, информацию 214; 314 полного времени аудиозадержки и соответствующую информацию 524A-I полного времени видеозадержки, например, информацию 224; 324 полного времени видеозадержки, из устройства, ближайшего к соответствующему устройству-источнику 500A-I.

C.1.3.1. Пример 1

Фиг. 5A показывает схематичное представление данной компоновки, содержащей STB 500A, например, устройство-источник 100; 200; 400, звуковую панель 582A, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592A, например, устройство 292; 892; 992 рендеринга видео и другое устройство 591A в видеотракте.

1) После обнаружения топологии, источник 500A имеет всю информацию относительно аудио- и видеотракта. Это включает в себя тот факт, что неопределенное устройство 591A находится в видеотракте. Это устройство 591A обычно должно задерживать видео и аудио в идентичной степени, но аудио уже находится за пределами тракта, так что это устройство 591A должно нарушать синхронизацию артикуляции по губам, если аудио и видео воспроизводятся одновременно. Кроме того, MPEG-H-время AL_MPEG-H задержки при декодировании аудио не равно полному времени 524A видеозадержки, что также должно нарушать синхронизацию артикуляции по губам.

2) STB 500A считывает в EDID (514A и 524A):

и

Звуковая панель 582A и телевизор 592A представляют собой аудиоприемники. Но звуковая панель 582A представляют собой требуемый вывод для аудио, в силу чего она перезаписывает EDID-значение телевизора 592A. Полное время видеозадержки состоит из всех суммированных времен видеозадержки устройств.

3) STB согласует через CEC то, что звуковая панель 582A имеет MPEG-H-время задержки при декодировании аудио

. Как указано в (2), согласованное MPEG-H-время задержки при декодировании с более высоким приоритетом задается в качестве MPEG-H-времени задержки при декодировании по умолчанию.

4) Попытка обмениваться данными через CEC DaNoL с телевизором 592A должна завершаться неудачно, поскольку оно не допускает выполнение означенного. Это означает то, что отсутствует способ для того, чтобы получать

. Звуковая панель должна сообщать через CEC DaNoL:

Необязательно, информация, предоставляемая посредством звуковой панели, может отправляться в одном или в более сообщений, например, в сообщениях, заданных в одной из табл. 2 или 3, например, в CEC DaNoL-сообщениях "информация времени задержки" и "информация EDID-времени задержки", заданных в табл. 3. В этом случае, информация, предоставляемая посредством звуковой панели, имеет следующую структуру:

5) Поскольку только EDID-значения получаются, полное время видеозадержки вычисляется с помощью (5):

.

6, 7) Начиная с этапа один, общеизвестно, что отсутствует устройство в аудиотракте:

.

8) STB вычисляет дополнительное время видеозадержки с информацией предыдущих этапов после (1):

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 60 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Например, пример 1 демонстрирует то, что устройство-источник 500A может справляться с ситуациями, в которых время задержки при декодировании аудио превышает время видеозадержки или превышает полное время видеозадержки видеотракта, даже если время задержки при декодировании аудио больше более чем на 20 мс. Пример 1 дополнительно может демонстрировать то, что устройство-источник 500A может справляться с ситуациями, в которых неизвестное устройство 591A представляет собой часть видеотракта, а не часть аудиотракта, т.е. имеется неизвестная, но асимметричная относительная задержка между аудиотрактом и видеотрактом. Пример 1 дополнительно может демонстрировать то, что устройство-источник 500A может справляться с ситуациями, в которых устройство, например, устройство 592A рендеринга видео является несовместимым для передачи информации отдельного для устройства времени задержки.

C.1.3.2. Пример 2

Фиг. 5B показывает схематичное представление данной компоновки, содержащей STB 500B, например, устройство-источник 100; 200; 400, звуковую панель 582B, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592B, например, устройство 292; 892; 992 рендеринга видео, другое устройство 581B в аудиотракте и другое устройство 591B в видеотракте.

1) После обнаружения топологии, источник 500B имеет всю информацию относительно аудио- и видеотракта.

2) EDID указывает:

,

.

3) Через CEC DaNoL,

задается равным 150 мс.

Примечание: Если согласование времени задержки между STB и звуковой панелью завершается неудачно, оба устройства должны использовать MPEG-H-время аудиозадержки по умолчанию

.

4) Звуковая панель 582B сообщает пять значений через CEC DaNoL-сообщение "информация времени задержки", но только значение

используется в данном случае:

5) Полное время видеозадержки вычисляется через (5) как

.

6) Поскольку звуковая панель 582B сообщает

через CEC, и EDID указывает сумму времен задержки, включающую в себя время задержки звуковой панели, можно вычислять время задержки в аудиотракте с помощью (8):

.

7) Устройство в аудиотракте не допускает DaNoL-связь. Следовательно, невозможно и не требуется регулировать время задержки в аудиотракте.

8) STB вычисляет дополнительную видеозадержку с информацией последних этапов после (1):

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 40 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Например, пример 2 демонстрирует то, что помимо ситуаций, описанных в примере 1, устройство-источник 500B может справляться с ситуациями, в которых имеется неизвестное устройство 581B в аудиотракте и в видеотракте, причем устройство 581B является несовместимым для передачи информации отдельного для устройства времени задержки. Например, поскольку неизвестное устройство 581B может суммировать свои значения времени задержки с информацией 514B полного времени аудиозадержки и со своей информацией 524B полного времени видеозадержки, устройство-источник 500B не должно обязательно знать информацию отдельного для устройства времени задержки относительно устройства 581B.

C.1.3.3. Пример 3

Фиг. 5C показывает схематичное представление данной компоновки, содержащей STB 500C, например, устройство-источник 100; 200; 400, звуковую панель 582C, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592C, например, устройство 292; 892; 992 рендеринга видео, другое устройство 581C в аудиотракте и другое устройство 591C в видеотракте.

Телевизор 592C не поддерживает AL и VL в EDID. Тем не менее, значения применяются в реальности, именно поэтому числа перечеркиваются на графике. AL, VL-значение в EDID телевизора 592C невозможно, поскольку оно не требуется для телевизора без MPEG-H-поддержки. Устройства 581C, 591C также не поддерживают значения EDID-времени задержки.

1) После обнаружения топологии, источник имеет всю информацию маршрутизации относительно аудио- и видеотракта.

2) EDID указывает отсутствие значений для AL или VL, что приводит к значениям по умолчанию позднее.

3) Через согласование времени задержки с CEC, DaNoL

задается равным 150 мс.

4) Звуковая панель 582C сообщает пять значений через CEC DaNoL-сообщение "информация времени задержки", но только полужирное значение используется в данном случае:

5) Поскольку текущее время видеозадержки звуковых панелей известно, полное время видеозадержки обновляется через (6) на:

6, 7) Имеется устройство 581C в аудиотракте, как распознано на этапе один. Поскольку EDID или CEC DaNoL не поддерживается в этом устройстве, отсутствует возможность вычислять время задержки в аудиотракте. Значение по умолчанию, полученное с помощью (9), составляет

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 60 мс относительно аудио. Система не достигает идеальной синхронизации артикуляции по губам вследствие неизвестных параметров.

9) Чтобы достигать идеальной синхронизации артикуляции по губам, пользователь вручную задает ползунок времени аудиозадержки в STB равным -20 мс.

Примечание: Полное время аудиозадержки составляет 170 мс, и полное время видеозадержки составляет 130 мс, так что исходное дополнительное время видеозадержки в 60 мс, из которого вычитается 20 мс, приводит к 40 мс, требуемым для того, чтобы достигать синхронизации артикуляции по губам.

Например, пример 3 демонстрирует то, что устройство-источник 500C может справляться с ситуациями, в которых устройства в аудиотракте и/или в видеотракте и/или устройство рендеринга видео являются несовместимыми для передачи как информации отдельного для устройства времени задержки, так и значений полного времени задержки, поскольку оно предоставляет возможность регулировать временное совмещение вручную. Даже без ручного регулирования, устройство-источник 500C выполнено с возможностью регулировать временное совмещение в показанной ситуации таким образом, что синхронизация аудиоданных и видеоданных улучшается.

C.1.3.4. Пример 4

Альтернатива A:

Фиг. 5D показывает схематичное представление данной компоновки, содержащей STB 500D, например, устройство-источник 100; 200; 400, звуковую панель 582D, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592D, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581D в аудиотракте и в видеотракте.

1) После обнаружения топологии, источник имеет всю информацию относительно аудио- и видеотракта.

2) EDID указывает:

.

3) Через согласование времени задержки с CEC DaNoL,

задается равным 150 мс.

4) Телевизор и звуковая панель сообщают по пять значений через CEC DaNoL, но только полужирные значения используются в данном случае:

5) Поскольку не все устройства сообщают информацию через DaNoL, но телевизор 592D сообщает, и EDID 524D доступен, полное время видеозадержки получается через (4) следующим образом:

.

6) Поскольку не все устройства сообщают информацию через DaNoL, и EDID 514D доступен, время задержки в аудиотракте получается через (8). Звуковая панель 582D не находится в EDID-цепочке, что означает то, что второй член формулы (8) игнорируется:

7) Сообщаемое время 514D аудиозадержки в EDID требует регулирования. Причина этого состоит в том, что телевизор 592D записывает в EDID время аудиозадержки собственного аудиовывода, а не MPEG-H-время задержки при транзитной пересылке. Регулирование проводится с помощью (10), причем телевизор является единственным устройством в EDID-цепочке, которое представляет собой MPEG-H-устройство:

.

8) STB 500D вычисляет дополнительную видеозадержку с информацией последних этапов после (1):

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 80 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Альтернатива B (необязательно):

Фиг. 5G показывает схематичное представление данной компоновки, содержащей STB 500G, например, устройство-источник 100; 200; 400, звуковую панель 582G, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592G, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581G в аудиотракте и в видеотракте.

В альтернативе B, телевизор 592G имеет более высокое время задержки при транзитной пересылке AL_MPEG-Hpt=50 мс по сравнению со временем задержки при транзитной пересылке AL_MPEG-Hpt=20 мс телевизора 592D альтернативы A. Более высокое время задержки при транзитной пересылке может возникать, например, если телевизор должен переупаковывать данные, например, аудиоданные.

2) EDID указывает:

.

задается равным 150 мс.

5) Поскольку не все устройства сообщают информацию через DaNoL, но телевизор сообщает, и EDID доступен, полное время видеозадержки получается через (4) следующим образом:

.

6) Поскольку не все устройства сообщают информацию через DaNoL, и EDID доступен, время задержки в аудиотракте получается через (8). Звуковая панель не находится в EDID-цепочке, что означает то, что второй член формулы (8) игнорируется:

7) Сообщаемое время аудиозадержки в EDID требует регулирования. Причина этого состоит в том, что телевизор записывает в EDID время аудиозадержки собственного аудиовывода, а не MPEG-H-время задержки при транзитной пересылке. Регулирование проводится с помощью (10), причем телевизор является единственным устройством в EDID-цепочке, которое представляет собой MPEG-H-устройство:

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 110 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Например, пример 4 (A и B) демонстрирует то, что устройство-источник 500D (или 500G) может справляться с ситуациями, в которых устройство во втором аудиорежиме, например, телевизор 592D (или 592G) в MPEG-H-режиме, находится в аудиотракте таким образом, что информация 514D (или 514G) полного времени аудиозадержки возможно должна регулироваться для того, чтобы достигать идеальной синхронизации артикуляции по губам.

C.1.3.5. Пример 5

Альтернатива A:

Фиг. 5E показывает схематичное представление данной компоновки, содержащей STB 500E, например, устройство-источник 100; 200; 400, звуковую панель 582E, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592E, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581E в аудиотракте и в видеотракте.

1) После обнаружения топологии, источник 500E имеет всю информацию относительно аудио- и видеотракта. Но источник 500E видит телевизор 592E в качестве аудиоприемника.

2) EDID указывает:

,

(514E, 524E).

Это означает то, что устройство 581E не суммирует свое время задержки с EDID-информацией. В этом случае, это не является релевантным, поскольку AL и VL устройства 581E равны.

3) Через CEC,

согласуется как 275 мс. Телевизор 592E также сообщает нормальное время аудиозадержки

. Телевизор имеет информацию в отношении того, что звуковая MPEG-H-панель 582E соединяется. Может быть необходимым преобразовывать MPEG-поток из 8кан192кГц в 2кан192кГц, что должно приводить к одной дополнительной задержке в длину MHAS-кадра аудиосигнала (и может составлять на несколько миллисекунд больше для того, чтобы получать круглое число). В этом примере, 25 мс используются в качестве времени задержки для того, чтобы пересылать поток битов в S/PDIF. Поскольку реальный MPEG-H-приемник (звуковая панель) не имеет CEC-доступа, телевизор 592E принимает на себя роль MPEG-H-приемника и сообщает MPEG-H-время задержки при декодировании аудио, которое представляет собой сумму MPEG-H-времени аудиозадержки по умолчанию, которое имеет звуковая панель 582E, и времени задержки при пересылке MPEG-H в S/PDIF телевизора:

.

В зависимости от компоновки, телевизор должен сообщать различные MPEG-H-времена задержки при декодировании аудио. В случае если звуковая панель соединяется через ARC, или даже если телевизор непосредственно воспроизводит MPEG-H, телевизор сообщает

или согласованное значение.

В случае если звуковая панель соединяется, например, через S/PDIF или другую технологию без HDMI, телевизор изменяет свои значения на

. Согласование невозможно.

4) Телевизор сообщает пять значений через CEC DaNoL, но только полужирные значения используются в данном случае:

5) Полное время видеозадержки получается через (4):

6, 7) Поскольку устройство 581E не появляется в EDID-информации, время аудиозадержки тракта (8) составляет:

.

8) STB 500E вычисляет дополнительную видеозадержку с информацией последних этапов после (1):

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 205 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Альтернатива B (необязательно):

Фиг. 5H показывает схематичное представление данной компоновки, содержащей STB 500H, например, устройство-источник 100; 200; 400, звуковую панель 582H, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592H, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581H в аудиотракте и в видеотракте.

В альтернативе B, телевизор 592H имеет более высокое время задержки при транзитной пересылке AL_MPEG-Hpt=50 мс по сравнению со временем задержки при транзитной пересылке AL_MPEG-Hpt=25 мс телевизора 592E альтернативы A. Более высокое время задержки при транзитной пересылке может возникать, например, если телевизор должен переупаковывать данные, например, аудиоданные.

1) После обнаружения топологии, источник имеет всю информацию относительно аудио- и видеотракта. Но источник видит телевизор в качестве аудиоприемника.

2) EDID указывает:

,

.

Это означает то, что устройство не суммирует свое время задержки с EDID-информацией. В этом случае, это не является релевантным, поскольку AL и VL устройства равны.

3) Через CEC,

согласуется как 300 мс. Телевизор также сообщает нормальное время аудиозадержки

. Телевизор имеет информацию в отношении того, что звуковая MPEG-H-панель соединяется. Может быть необходимым преобразовывать MPEG-поток из 8кан192кГц в 2кан192кГц, что должно приводить к одной дополнительной задержке в длину MHAS-кадра аудиосигнала (и может составлять на несколько миллисекунд больше). В этом примере, 50 мс используются в качестве времени задержки для того, чтобы пересылать поток битов в S/PDIF. Поскольку реальный MPEG-H-приемник (звуковая панель) не имеет CEC-доступа, телевизор принимает на себя роль MPEG-H-приемника и сообщает MPEG-H-время задержки при декодировании аудио, которое представляет собой сумму MPEG-H-времени аудиозадержки по умолчанию, которое имеет звуковая панель, и времени задержки при пересылке MPEG-H в S/PDIF телевизора:

.

или согласованное значение.

. Согласование невозможно.

6, 7) Поскольку устройство не появляется в EDID-информации, время аудиозадержки тракта (8) составляет:

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 230 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Например, пример 5 (A и B) демонстрирует то, что устройство 592E (или 592H) рендеринга видео может быть выполнено с возможностью транзитно пересылать аудиоданные из устройства-источника 500E (или 500H) в устройство 582E (или 582H) воспроизведения аудио и предоставлять отдельное для устройства время задержки при декодировании аудио устройства 582E (или 582H) воспроизведения аудио в устройство-источник 500E (или 500H) и согласовывать время задержки при декодировании аудио с устройством-источником 500E (или 500H) на основе времени задержки при декодировании аудио устройства 582E (или 582H) воспроизведения аудио, т.е., например, предоставлять возможные значения времени задержки в устройство-источник 500E (или 500H). Таким образом, идеальная синхронизация артикуляции по губам может достигаться, даже если устройство воспроизведения аудио, даже устройство воспроизведения аудио во втором аудиорежиме, не допускает обмен данными с устройством-источником.

C.1.3.6. Пример 6

Альтернатива A:

Фиг. 5F показывает схематичное представление данной компоновки, содержащей STB 500F, например, устройство-источник 100; 200; 400, звуковую панель 582F, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592F, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581F в аудиотракте и в видеотракте.

1) После обнаружения топологии, источник 500F имеет всю информацию относительно аудио- и видеотракта, но источник видит телевизор 592F в качестве аудиоприемника.

2) EDID указывает:

,

(514F, 524F). Это означает то, что устройство 581F и телевизор 592F суммируют свое время аудиозадержки для не-MPEG-H-случая с EDID-информацией 514F.

3) Через CEC,

сообщается посредством телевизора как 275 мс. Как указано в вышеприведенных примерах, телевизор суммирует свое время задержки при пересылке MPEG-H в S/PDIF с MPEG-H-временем задержки при декодировании аудио по умолчанию для звуковой панели.

4) Телевизор 592F и устройство 581F сообщают пять значений через CEC DaNoL, но только полужирные значения используются в данном случае:

5) Полное время видеозадержки вычисляется через (3) как:

6) Время задержки в аудиотракте вычисляется через (7) как:

7) Этап семь не применяется, если используются только устройства с DaNoL-характеристиками.

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 195 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Альтернатива B (необязательно):

Фиг. 5I показывает схематичное представление данной компоновки, содержащей STB 500I, например, устройство-источник 100; 200; 400, звуковую панель 582I, например, устройство 282; 482; 682; 782 воспроизведения аудио, телевизор 592I, например, устройство 292; 892; 992 рендеринга видео и другое устройство 581I в аудиотракте и в видеотракте.

В альтернативе B, телевизор 592I имеет более высокое время задержки при транзитной пересылке AL_MPEG-Hpt=50 мс по сравнению со временем задержки при транзитной пересылке AL_MPEG-Hpt=25 мс телевизора 592F альтернативы A. Более высокое время задержки при транзитной пересылке может возникать, например, если телевизор должен переупаковывать данные, например, аудиоданные.

1) После обнаружения топологии, источник имеет всю информацию относительно аудио- и видеотракта, но источник видит телевизор в качестве аудиоприемника.

2) EDID указывает:

,

. Это означает то, что устройство и телевизор суммируют свое время аудиозадержки для не-MPEG-H-случая с EDID-информацией.

3) Через CEC,

сообщается посредством телевизора как 300 мс. Как указано в вышеприведенных примерах, телевизор суммирует свое время задержки при пересылке MPEG-H в S/PDIF с MPEG-H-временем задержки при декодировании аудио по умолчанию для звуковой панели.

4) Телевизор и устройство сообщают пять значений через CEC DaNoL, но только полужирные значения используются в данном случае:

.

Источник конфигурирует свои выходы таким образом, что видео запаздывает на 220 мс относительно аудио. Система достигает идеальной синхронизации артикуляции по губам.

Например, пример 6 (A и B) демонстрирует то, что устройство-источник 500F (или 500I) может справляться с ситуациями, в которых устройство 581F (или 581I) в аудиотракте и в видеотракте передает свою информацию отдельного для устройства времени задержки. В таком случае, устройство-источник 500F (или 500I) может регулировать временное совмещение независимо от информации 514F (или 514I) полного времени аудиозадержки и информации 524F (или 524I) полного времени видеозадержки.

D. Согласование времени задержки согласно фиг. 4

Фиг. 4 показывает блок-схему последовательности операций способа для согласования времени задержки времени задержки при декодировании, выполняемого посредством устройства-источника 400 согласно варианту осуществления. Устройство-источник 400 может соответствовать устройству-источнику 100; 200. Например, согласование времени задержки может выполняться посредством модуля 343 согласования времени задержки устройства-источника 300. Фиг. 4 показывает согласование времени задержки между устройством-источником 400 и необязательным устройством 482 воспроизведения аудио, например, устройством 282 воспроизведения аудио, для времени 418 задержки при декодировании устройства 482 воспроизведения аудио. Время 418 задержки при декодировании может соответствовать времени 218; 318 задержки при декодировании аудио. Устройство 482 воспроизведения аудио выполнено с возможностью декодировать аудиоданные, например, аудиоданные 160, 260. Устройство 482 воспроизведения аудио соединяется с цифровым мультимедийным интерфейсом устройства-источника 400 через аудиотракт, например, аудиотракт 180, 280. Устройство 482 воспроизведения аудио выполнено с возможностью предоставлять слышимую аудиоинформацию на основе аудиоданных, предоставленных посредством устройства-источника 400, например, аудиоданных 160, 260.

Например, устройство-источник 400 может быть выполнено с возможностью согласовывать время 218 задержки при декодировании с устройством 482 воспроизведения аудио на основе времени задержки при декодировании видео устройства-источника 400. Время задержки при декодировании видео, например, может представлять собой время задержки, ассоциированное с декодированием кодированного представления видеоданных. Например, время задержки при декодировании видео может быть ассоциировано с декодированием кодированного видеопредставления 267 посредством декодера 266, чтобы получать видеоданные 265, представленные в качестве декодированного видеопредставления.

В результате согласования времени задержки устройства-источника 400 с устройством 482 воспроизведения аудио, время 418 задержки при декодировании аудио устройства 482 воспроизведения аудио может адаптироваться. Устройство-источник 400 выполнено с возможностью регулировать временное совмещение, например, временное совмещение 150, 250, 350, согласно изменению времени 418 задержки при декодировании аудио устройства 482 воспроизведения аудио.

Другими словами, устройство-источник 400 выполнено с возможностью согласовывать время 418 задержки при декодировании с устройством 482 воспроизведения аудио и регулировать временное совмещение в зависимости от согласованного времени задержки при декодировании.

Согласование времени задержки при декодировании аудио может инициироваться посредством устройства-источника 400, например, посредством отправки запроса на то, чтобы согласовывать время задержки при декодировании аудио, в устройство 482 воспроизведения аудио. Например, устройство-источник 400 может запрашивать согласование времени задержки после запуска устройства-источника 400.

Альтернативно или дополнительно, согласование времени задержки может инициироваться посредством устройства 482 воспроизведения аудио. Например, устройство 482 воспроизведения аудио может запрашивать согласование времени задержки с устройством-источником 400 посредством отправки сообщения в устройство-источник 400. Например, устройство 482 воспроизведения аудио может запрашивать согласование времени задержки вследствие изменения времени 418 задержки при декодировании аудио устройства 482 воспроизведения аудио.

Например, устройство 482 воспроизведения аудио может инициировать согласование времени задержки посредством передачи возможных значений 447 времени задержки в устройство-источник 400. Устройство 482 воспроизведения аудио также может передавать возможные значения времени задержки в устройство-источник 400 при запросе или при инициировании согласования времени задержки посредством устройства-источника 400.

Устройство-источник 400 может быть выполнено с возможностью выбирать требуемое значение 448 времени задержки из возможных значений 447 времени задержки, передаваемых посредством устройства 482 воспроизведения аудио. Например, устройство-источник 400 может выбирать требуемое значение 448 времени задержки из возможных значений времени задержки, передаваемых посредством устройства 482 воспроизведения аудио, на основе времени задержки при декодировании видео устройства-источника 400. Например, устройство-источник 400 может выбирать требуемое значение 448 времени задержки таким образом, что требуемое значение 448 времени задержки соответствует времени задержки при декодировании видео.

Устройство 482 воспроизведения аудио может быть выполнено с возможностью передавать возможные значения 447 времени задержки в качестве информации списка времен задержки, содержащей набор значений времени задержки, или может быть выполнено с возможностью передавать возможные значения 447 времени задержки в качестве информации охвата времен задержки, содержащей охват возможных значений времени задержки.

Устройство-источник 400 выполнено с возможностью передавать требуемое значение 448 времени задержки в устройство 482 воспроизведения аудио.

Другими словами, устройство-источник 400 выполнено с возможностью получать информацию охвата времен задержки, описывающую охват возможных значений 447 времени задержки, из устройства 482 воспроизведения аудио или получать информацию списка времен задержки, описывающую одно или более возможных значений 447 времени задержки, из устройства 482 воспроизведения аудио. Устройство-источник 400 дополнительно выполнено с возможностью выбирать требуемое значение 448 времени задержки на основе информации охвата времен задержки или информации списка времен задержки. Устройство-источник 400 дополнительно выполнено с возможностью инструктировать устройству 482 воспроизведения аудио использовать требуемое значение 482 времени задержки. Устройство-источник 400 дополнительно выполнено с возможностью регулировать временное совмещение в зависимости от выбранного требуемого значения 448 времени задержки при воспроизведении аудио.

Устройство-источник 400 выполнено с возможностью проверять успешность согласования времени задержки. Таким образом, устройство-источник 400 выполнено с возможностью допускать то, адаптирует или нет устройство 482 воспроизведения аудио свое время 418 задержки при декодировании аудио согласно требуемому значению 448 времени задержки, либо то, сохраняет либо нет устройство 482 воспроизведения аудио исходное значение для времени 418 задержки при декодировании аудио после согласования времени задержки. Устройство-источник 400 выполнено с возможностью регулировать временное совмещение на основе требуемого значения 448 времени задержки или на основе исходного значения времени 418 задержки при декодировании аудио устройства-приемника 482 в зависимости от своего допущения относительно успешности согласования времени задержки. Например, устройство-источник 400 выполнено с возможностью принимать сообщение из устройства 482 воспроизведения аудио, содержащее время 418 задержки при декодировании аудио.

Необязательно, устройство-источник 400 может быть выполнено с возможностью повторно согласовывать время 418 задержки при декодировании аудио после завершенного согласования времени задержки, например, посредством запроса согласования времени задержки или посредством приема запроса на согласование времени задержки, например, на предмет информации относительно возможных значений 447 времени задержки.

Другими словами, устройство-источник 400 выполнено с возможностью верифицировать то, использует или нет устройство 482 воспроизведения аудио выбранное требуемое значение 448 времени задержки согласно инструкции. Устройство-источник 400 дополнительно выполнено с возможностью рассматривать значение времени задержки по умолчанию, если устройство 482 воспроизведения аудио не может использовать выбранное требуемое значение 448 времени задержки.

Устройство-источник 400 выполнено с возможностью принимать запрос на согласование времени задержки, содержащий информацию 447 охвата времен задержки, описывающую охват возможных значений времени задержки, из устройства 482 воспроизведения аудио, или содержащий информацию списка времен задержки, описывающую одно или более возможных значений времени задержки, из устройства 482 воспроизведения аудио. Устройство-источник 400 дополнительно выполнено с возможностью выбирать требуемое значение 448 времени задержки на основе информации охвата времен задержки или информации списка времен задержки.

Например, модуль 343 согласования времени задержки может быть выполнен с возможностью обмениваться данными (или согласование времени задержки может выполняться) с использованием CEC-команд, например, команд, описанных в главе D.1, и/или согласно сообщениям и правилам, как описано в табл. 2 или альтернативно и необязательно, как описано в табл. 3.

Например, модуль 343 согласования времени задержки может быть выполнен с возможностью передавать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, в одно или более устройств-приемников (например, с использованием отдельной непосредственной адресации устройства-приемника или широковещательной передачи), и (если применимо) принимать соответствующее сообщение ответа из одного или более устройств-приемников (например, в цепочке устройств-приемников) и использовать информацию, включенную в соответствующее сообщение ответа (например, для согласования времени 318 задержки при декодировании аудио).

Следующий раздел D.1 описывает варианты осуществления модуля согласования времени задержки. Признаки, функциональности и подробности, описанные в разделе D.1, могут необязательно вводиться в любой из вариантов осуществления, описанных в данном документе, в частности, в модуль 343 согласования времени задержки, отдельно и в любой комбинации. Описание в разделах D.1.1 и 1.2 ссылается на фиг. 4.

D.1. CEC-обнаружение и согласование времен задержки (CEC DaNoL)

Следует отметить, что в нижеприведенном описании, ссылки на другие варианты осуществления, например, на варианты осуществления по фиг. 1-9, должны рассматриваться в качестве примеров. Такие ссылки не имеют намерение подразумевать, что любые либо все из признаков, показанных на фиг. 1-9, должны присутствовать в нижеприведенных вариантах осуществления.

Признаки, функциональности и подробности, описанные в этой главе, могут необязательно вводиться в любой из вариантов осуществления, описанных в данном документе (а также в формуле изобретения), как отдельно, так и в комбинации.

Сообщения и другие признаки и подробности, описанные в этой главе, например, могут реализовываться отдельно либо в любой их комбинации в устройстве-источнике 100; 200; 400, в частности, в модуле 341 обнаружения, модуле 343 согласования времени задержки и/или модуле 344 сбора и/или в устройстве-приемнике.

Сообщения и другие признаки и подробности, описанные в этой главе, например, могут использоваться для того, чтобы обнаруживать устройства в видеотракте и/или в аудиотракте (например, раздел D.1.2.1), с тем чтобы передавать информацию отдельного для устройства времени (аудио- и/или видео-)задержки и/или согласовывать время задержки при декодировании (например, раздел D.1.2.2).

D.1.1. Сообщения

Следующие сообщения (или, необязательно, их поднабор) используются для признака обнаружения и согласования времен задержки:

"Отчет по охвату времен задержки", "отчет по возможным значениям времени задержки", "задание времени задержки", "запрос на согласование времени задержки", "отчет по времени задержки", "запрос отчета по времени задержки", "информация времени задержки", "запрос информации времени задержки", "время задержки не поддерживается", "неподдерживаемый аудиокодек".

Все эти сообщения представляют собой расширения "команды производителя с идентификатором" (HDMI 1.4b, CEC15, CEC-таблица 16), при этом идентификатор производителя представляет собой MA-L Fraunhofer IIS: "12:34:56" (Он представляет собой фиктивную переменную. Реальный MA-L должен задаваться).

На предмет подробностей касательно того, какие сообщения являются обязательными в некоторых вариантах осуществления, см. табл. 2. Другие варианты осуществления могут необязательно использовать поднабор этих сообщений и/или дополнительных сообщений.

Например, альтернативно следующие сообщения (или, необязательно, их поднабор) могут необязательно использоваться для признака обнаружения и согласования времен задержки:

"Отчет по охвату времен задержки", "отчет по возможным значениям времени задержки", "задание времени задержки", "запрос на согласование времени задержки", "информация времени задержки", "запрос информации времени задержки", "информация EDID-времени задержки", "запрос информации EDID-времени задержки", "время задержки не поддерживается", "неподдерживаемый аудиокодек".

Все эти сообщения представляют собой расширения "команды производителя с идентификатором" (HDMI 1.4b, CEC15, CEC-таблица 16), при этом идентификатор производителя представляет собой CID Fraunhofer IIS: BA-C4-85 (шестнадцатеричное число); BAC485 (по основанию 16).

На предмет подробностей касательно того, какие сообщения являются обязательными в некоторых необязательных вариантах осуществления, см. табл. 3.

D.1.2. Описание признаков (подробности являются необязательными)

Этот признак обеспечивает возможность, например, всем устройствам в HDMI-компоновке передавать значения времени задержки. Это, в частности, интересно для устройства декодирования потоков аудиобитов (приемника), например, устройства 282; 482; 682; 782 воспроизведения аудио и устройства декодирования видео, которое представляет собой активный источник (источник), например, устройство-источник 100; 200; 400. Этот признак позволяет, например, источнику обеспечивать синхронизацию артикуляции по губам за счет получения всей релевантной информации из устройств в аудио- и видеотракте и приемниках через CEC-сообщения. Признак в некоторых случаях является обязательным, поскольку современные аудиокодеки, такие как MPEG-H, попадают в HDMI, помеченный как запрещенный случай "Видеозадержка+20 мс < Аудиозадержка", см., например, случай 4, таблицы 10-26, HDMI 2.0a 10.6.1.1.

В некоторых случаях, требуется механизм для того, чтобы достигать синхронизации артикуляции по губам в сложном HDMI-тракте. Но он также может использоваться для того, чтобы согласовывать время аудиозадержки, отличное от времени аудиозадержки по умолчанию определенного кодека. Связь осуществляется, например, через конкретные для производителя CEC-команды, описанные в HDMI 1.4b, CEC 13.9. Оба устройства должны использовать только значение времени задержки не по умолчанию после того, как согласование и подтверждение между ними успешно завершено посредством выполнения процедур, указываемых в этом разделе.

Например, все CEC-сообщения, описанные в этом документе, имеют код операции "команда производителя с идентификатором" с соответствующим значением "0xA0". Общее представление команды приводится здесь:

[логический адрес Tx] [логический адрес Rx] [код операции 0xA0] [идентификатор производителя] [конкретные для производителя данные]

Логический адрес задается, например, в HDMI 1.4b, CEC 10.2. Идентификатор производителя, например, всегда представляет собой MA-L Fraunhofer IIS: "12:34:56". Альтернативно и необязательно, идентификатор производителя всегда может представлять собой CID Fraunhofer IIS: BAC485. Конкретные для производителя данные, например, занимаются посредством кода операции производителя 1 в байт, например, с последующим коротким аудиодескриптором (SAD) с длиной в три байта. Далее идут, например, максимум семь однобайтовых параметров, соответствующих коду операции производителя:

"конкретные для производителя данные" = [код операции производителя] [SAD] [параметр 1] [параметр 2]... [параметр 7]

В некоторых случаях, не разрешается использовать более 7 параметров, поскольку данные одного блока "конкретные для производителя данные", например, ограничены 11 байтами, см., например, таблицу 29, CEC 17, HDMI 1.4b с "Названием" ("конкретные для производителя данные") в столбце "Назначение".

Короткий аудиодескриптор (SAD) поясняется, например, в HDMI 1.4b, который ссылается на CTA-861-G 7.5.2 и 7.5.3. Один SAD содержит, например, четко заданное кодирование аудио и ассоциированные параметры. В некоторых случаях, это необходимо, поскольку проблема синхронизации артикуляции по губам может отличаться для варьирующихся аудиокодеков и даже для их различных разновидностей.

SAD устройства декодирования аудио и источника обязаны (или, в некоторых случаях, должны) содержать идентичный "код аудиоформата" и идентичный "код типа расширения кодирования аудио". Соответствие всех других битов может зависеть от кодека. Устройство-источник, например, должно записывать SAD, в отличие от EDID, только с одной конкретной разновидностью кодека. Например: Устройство-источник поддерживает транзитную пересылку аудио разновидностей A и B кодека. EDID-SAD должен указывать характеристики A и B. Но для CEC-обнаружения синхронизации артикуляции по губам, источник согласуется отдельно с одним SAD, содержащим только A, и одним, содержащим только B. Каждый кодек может предоставлять (или, в некоторых случаях, должен предоставлять) информацию по обработке для каждой разновидности, либо все разновидности имеют идентичное регулирование синхронизации артикуляции по губам. В общем, SAD источника должен представлять собой поднабор SAD устройства декодирования.

Например, если сообщения ссылаются на SAD текущего воспроизводимого аудиопотока или последнего воспроизводимого аудиопотока, каждый бит SAD должен необязательно задаваться равным нулю. 3 байта, ссылающиеся на текущий или последний SAD, например, могут выглядеть следующим образом: 00:00:00.

Чтобы передавать время задержки, оно, например, преобразуется в один байт через эту формулу, которая является идентичной в HDMI 2.0a 10.7.1, таблицы 10-28, или в HDMI 1.4b "8.3.2. Время аудиозадержки":

задержка_{преобразованная в один байт} = [задержка_{в мс/}2+1]_HEX

Согласуемое время задержки находится, например, в области [0 мс, 500 мс] или преобразуется [0×01, 0xFB]. Если устройство не поддерживает конкретное время задержки, указанное в сообщении "информация времени задержки", то оно, например, должно сообщать 0xff. Например, все другие значения резервируются.

Все признаки данного документа могут, в некоторых случаях, использоваться только после того, как функциональность производителя активирована (см. HDMI 1.4b CEC 13.9.2).

D.1.2.1. Обнаружение времен задержки (подробности являются необязательными)

В случае если источник хочет вычислять время задержки цепочки нескольких устройств, то он должно отправлять непосредственно адресованное сообщение "запрос информации времени задержки" во все релевантные устройства. Примечание: Алгоритм для того, чтобы задавать задержки в устройстве-источнике в случае MPEG-H-аудиокодека, содержится в другой главе с названием: MPEG-H-алгоритм регулирования задержек источников (MASDA).

На сообщение "запрос информации времени задержки" следует отвечать, например, сообщением "информация времени задержки", например, адресованным для широковещательной передачи, которое состоит, например, из пяти параметров. Эти параметры задаются, например, в этом порядке: время аудиозадержки для случая без кодека, суммированное в EDID (прогрессивное значение), время видеозадержки, суммированное в EDID (прогрессивное значение), время задержки при транзитной пересылке в кодеке, время задержки при декодировании в кодеке и текущее время видеозадержки. Первые два параметра, например, являются идентичными параметрам, которые устройство суммирует в своем конкретном для производителя EDID-блоке данных (HDMI VSDB). Кодек может задавать два дополнительных значения и впоследствии суммировать их.

Необязательно, если устройство изменяет внутренний параметр и в силу этого данные сообщения "информация времени задержки", то оно должно отправлять это сообщение с новыми параметрами, чтобы информировать источник. Это происходит, например, если телевизор изменяет свой видеорежим, что приводит к другому текущему времени видеозадержки.

Альтернативно, согласно необязательному примеру, на сообщение "запрос информации времени задержки" следует отвечать сообщением "информация времени задержки", адресованным для широковещательной передачи, которое состоит из трех параметров. Эти параметры, например, задаются в этом порядке: время задержки при декодировании в кодеке, время задержки при транзитной пересылке в кодеке и текущее время видеозадержки. Кодек может задавать четыре дополнительных значения и впоследствии суммировать их.

Согласно этому необязательному примеру, если только третий параметр "Текущее время видеозадержки" сообщения "информация времени задержки" изменяется в устройстве, таком как телевизор, например вследствие переключения между видеорежимами, и если текущее время видеозадержки является одинаковым для всех аудиорежимов, может разрешаться отправлять сообщение "информация времени задержки", адресованное для широковещательной передачи с SAD 0xffffff, с параметрами 1 и 2 времени задержки, также заданными равными 0xff.

Согласно этому необязательному примеру, на сообщение "запрос информации EDID-времени задержки" следует отвечать сообщением "информация EDID-времени задержки", например, адресованным для широковещательной передачи, которое состоит, например, из четырех параметров. Эти параметры задаются, например, в этом порядке: время аудиозадержки (для случая без кодека), суммированное в EDID (прогрессивное значение), время видеозадержки, суммированное в EDID (прогрессивное значение), время аудиозадержки (для случая без кодека), суммированное в EDID (перемеженное значение), время видеозадержки, суммированное в EDID (перемеженное значение). Эти параметры, например, являются идентичными параметрам, которые устройство может суммировать в своем конкретном для производителя EDID-блоке данных (HDMI VSDB). Если прогрессивный и перемеженный случай имеет идентичные времена задержки, например, необходимо передавать только первые два параметра.

D.1.2.2. Согласование времени задержки (подробности являются необязательными)

В случае, если устройство-источник хочет инициировать согласование времени задержки, то оно должно отправлять, например, непосредственно адресованное сообщение "запрос на согласование времени задержки" в устройство декодирования аудио. Затем устройство декодирования аудио должно начинать инициирование согласования времени задержки.

В случае инициирования согласования времени задержки устройство декодирования аудио, например, должно отправлять непосредственно адресованное сообщение "отчет по охвату времен задержки" (или "отчет по возможным значениям времени задержки") в источник. Например, если подписчик отправляет сообщение "прерывание признака" ["нераспознанный код операции"], либо отсутствует связанное сообщение в течение требуемого максимального указываемого времени ответа, например, в HDMI 1.4b, CEC 9.2 (например, = 1 сек), то MPEG-H-устройство декодирования, например, допускает то, что устройство декодирования видео не поддерживает согласование времени задержки.

Если подписчик отвечает, например, непосредственно адресованным сообщением "время задержки не поддерживается", устройство декодирования аудио знает то, что подписчик представляет собой устройство, допускающее согласование времени задержки, но не поддерживает запрашиваемое время задержки для запрашиваемого типа кодеков. Если подписчик отвечает, например, непосредственно адресованным сообщением "неподдерживаемый аудиокодек", SAD устройства декодирования аудио содержит неизвестный аудиокодек для источника.

Если подписчик выбирает одно время задержки из сообщаемого охвата или из сообщаемых значений, то он, например, должен активировать это время задержки и передавать его через непосредственно адресованное сообщение "задание времени задержки".

В случае если параметр времени задержки сообщения "задание времени задержки" находится в пределах охвата времен задержки устройства декодирования аудио, он, например, должен использовать это время задержки и отправлять непосредственно адресованное сообщение "отчет по времени задержки" в источник, или, согласно необязательному примеру, широковещательно передавать сообщение "информация времени задержки", или отправлять сообщение "информация времени задержки" в источник.

В случае если параметр времени задержки сообщения "задание времени задержки" не находится в пределах охвата времен задержки устройства декодирования аудио, он, например, должен использовать время задержки по умолчанию и отправлять непосредственно адресованное сообщение "время задержки не поддерживается" в источник.

Например, источник ожидает после сообщения "задание времени задержки" сообщения "отчет по времени задержки" в течение требуемого максимального времени ответа, указываемого, например, в HDMI 1.4b, CEC 9.2. Если отсутствует сообщение "отчет по времени задержки", то звуковая панель или источник не использует согласованное время задержки.

Согласно необязательному примеру, источник ожидает после сообщения "задание времени задержки" сообщения "информация времени задержки" в течение требуемого максимального времени ответа, например, указываемого в HDMI 1.4b, CEC 9.2. Если отсутствует сообщение "информация времени задержки", то источник не использует согласованное время задержки.

Таким образом, время задержки проверяется, например, на обеих сторонах до того, как оно используется. Сообщение "время задержки не поддерживается" может представлять собой ответ с другим сообщением "время задержки не поддерживается".

Нормальный процесс согласования представляется, например, на фиг. 4.

Необязательно, в случае если устройство декодирования видео хочет повторно согласовываться, оно отправляет, например, непосредственно адресованное сообщение "запрос на согласование времени задержки" в устройство декодирования аудио.

Необязательно, в случае если устройство декодирования аудио хочет повторно согласовываться, оно отправляет, например, непосредственно адресованное сообщение "отчет по охвату времен задержки" или "отчет по возможным значениям времени задержки" в устройство декодирования видео. Охват должен содержать новое значение времени задержки.

D.1.2.3. Обновление информации (необязательно)

Каждое устройство, которое сообщает динамические значения, например, в сообщении "информация времени задержки", должно широковещательно передавать это сообщение после измененного значения. Например: Если телевизор изменяет свой видеорежим с кино- на игровой, он должен отправлять "информация времени задержки", чтобы обновлять значение [текущее время видеозадержки] этого сообщения, например, в каждом устройстве прослушивания или, по меньшей мере, в некоторых устройствах прослушивания.

D.1.3. Примеры

В этом разделе, передаваемые данные показаны как шестнадцатеричные значения. Логические части разделяются посредством знака ":".

В этих разделах, описываются примерные варианты осуществления. Например, телевизор может служить в качестве устройства-источника, например, устройства-источника 100; 200; 400 и в качестве устройства рендеринга видео, например, устройства 292; 892; 992 рендеринга видео, и звуковая панель, соединенная с телевизором, может служить в качестве устройства воспроизведения аудио, например, устройства 282; 482; 692; 792 воспроизведения аудио.

D.1.3.1. Инициирование согласования времени задержки

Звуковая MPEG-H-панель с логическим адресом 0×5 (аудиосистема) через ARC соединяется с телевизором с логическим адресом 0×0 (с телевизором). MPEG-H-телевизор задерживает свой видеосигнал таким образом, что он находится в синхронизации артикуляции по губам с аудио звуковой панели, которая предположительно имеет MPEG-H-время задержки при декодировании по умолчанию в 250 мс. Звуковая панель имеет возможность меньших значений времени задержки вплоть до 100 мс. Телевизор находится в специальном режиме улучшения изображений, который требует времени видеозадержки в 150 мс или максимум в 150 мс. Согласование между этими двумя устройствами показывается здесь:

Soundbar_Tx: 50 : A0: 654321 : 01 : SAD_MPEG-H: 33 : 7E

TV_Tx: 05 : A0: 654321 : 03 : SAD_MPEG-H: 4C

Soundbar_TX: 50 : A0: 654321 : 05 : SAD_MPEG-H: 4C

Эта связь поясняется подробнее в табл. 1.

Альтернативно, согласно необязательному варианту осуществления, идентификатор производителя имеет значение BAC485 и/или звуковая панель отвечает на сообщение "задание времени задержки" с сообщением "информация времени задержки", согласно набору сообщений, показанных в табл. 3. Согласно этому необязательному примеру, согласование между этими двумя устройствами может описываться, как показано здесь:

Soundbar_Tx: 50 : A0: BAC485: 01 : SAD_MPEG-H: 33 : 7E

TV_Tx: 05 : A0: BAC485: 03 : SAD_MPEG-H: 4C

Soundbar_TX: 50 : A0: BAC485: 05 : SAD_MPEG-H: 4C: 0C: 00

Эта связь поясняется подробнее в табл. 4.

В обоих примерах, показанных выше, без согласования времени задержки, телевизор должен задерживать свое видео (в декодированной форме) на 100 мс, с тем чтобы обеспечивать синхронизацию артикуляции по губам. Успешное согласование приводит к отсутствию дополнительной видеозадержки в телевизоре.

D.1.3.2. Завершение согласования времени задержки и ошибок

D.1.3.2.1. Рассогласование аудиокодеков

Звуковая панель пытается инициировать согласование времени задержки, но телевизор реагирует с помощью сообщения "неподдерживаемый аудиокодек", поскольку он не поддерживает разновидность аудиокодека, указанную в SAD_A.

Soundbar_Tx: 50 : A0: 654321 : 01 : SAD_A: 33 : 7E

TV_Tx: 05 : A0: 654321 : 0A: SAD_B

Альтернативно, согласно необязательному варианту осуществления, идентификатор производителя имеет значение BAC485 таким образом, что согласование между этими двумя устройствами может описываться, как показано здесь:

Soundbar_Tx: 50 : A0: BAC485: 01 : SAD_A: 33 : 7E

TV_Tx: 0 5 : A0: BAC485: 0A: SAD_B

D.1.3.2.2. Без совпадающего согласуемого времени задержки

Звуковая панель пытается инициировать согласование времени задержки и отправляет 3 возможных значения времени задержки с непосредственно адресованным сообщением "отчет по возможным значениям времени задержки". Ни одно из этих времен задержки не удовлетворяет телевизору. Именно по этой причине она отвечает непосредственно адресованным сообщением "время задержки не поддерживается".

Soundbar_Tx: 50 : A0: 654321 : 02 : SAD_MPEG-H: 4C: 59 : 6F

(150 мс, 176 мс, 220 мс)

TV_Tx: 05 : A0: 654321 : 09 : SAD_MPEG-H

Soundbar_Tx: 50 : A0: BAC485: 02 : SAD_MPEG-H: 4C: 59 : 6F

(150 мс, 176 мс, 220 мс)

TV_Tx: 05 : A0: BAC485: 09 : SAD_MPEG-H

Звуковая панель знает теперь, что телевизор имеет возможность согласовываться через CEC. Следовательно, звуковая панель может предпринимать другую попытку с другими значениями времени задержки.

D.1.3.3. Обмен информацией времен задержки

Устройство воспроизведения (логический адрес 0×1) запрашивает звуковую панель (логический адрес 0×5) на предмет ее значений времени задержки. Звуковая панель отвечает своим временем аудиозадержки для не-MPEG-H-, суммированным в EDID (прогрессивное значение), временем видеозадержки, суммированным в EDID (прогрессивное значение), MPEG-H-временем задержки при транзитной пересылке, MPEG-H-временем задержки при декодировании аудио и текущим временем видеозадержки. Эта информация является полезной для устройства-источника для того, чтобы обеспечивать синхронизацию артикуляции по губам.

Playout_Tx: 15 : A0: 654321 : 07 : SAD_MPEG-H

Soundbar_Tx: 5F: A0: 654321 : 08 : SAD_MPEG-H: 29 : 29 : 0C: 4C: FF

(80 мс, 80 мс, 22 мс, 150 мс, не доступно)

Альтернативно, согласно необязательному варианту осуществления, идентификатор производителя имеет значение BAC485, и связь может придерживаться необязательному набору сообщений, описанных в табл. 3, так что обмен информацией между этими двумя устройствами может описываться, как показано здесь:

Устройство воспроизведения (логический адрес 0×1) запрашивает звуковую панель (логический адрес 0×5) на предмет ее значений времени задержки. Звуковая панель отвечает своим MPEG-H-временем задержки при декодировании аудио, MPEG-H-временем задержки при транзитной пересылке и текущим временем видеозадержки. Эта информация является полезной для устройства-источника для того, чтобы обеспечивать синхронизацию артикуляции по губам.

Playout_Tx: 15 : A0: BAC485: 06 : SAD_MPEG-H

Soundbar_Tx: 5F: A0: BAC485: 05 : SAD_MPEG-H: 4C: 0C: FF

(150 мс, 22 мс, не доступно)

Кроме того, устройство воспроизведения запрашивает статические значения времени аудио- и видеозадержки, сохраненные в EDID.

Playout_Tx: 15 : A0: BAC485: 08 : SAD_MPEG-H

Soundbar_Tx: 5F: A0: BAC485: 07 : SAD_MPEG-H: 29 : 29

(80 мс, 80 мс)

Например, если чередуемые и прогрессивные времена аудио/видеозадержки равны, необходимо передавать только одну пару. Именно это происходит в вышеприведенном примере, в котором звуковая панель сообщает прогрессивное (и чередуемое) время аудиозадержки и прогрессивное (и чередуемое) время видеозадержки.

Настоятельно рекомендуется (и предлагается в MPEG-H-алгоритме регулирования задержек источников) то, что согласование времени задержки проводится до обмена информацией времен задержки. Таким образом, согласованное время задержки может проверяться снова.

E. Устройство-приемник согласно фиг. 6

Фиг. 6 показывает схематичное представление устройства-приемника 682 согласно варианту осуществления. Устройство-приемник 682 может представлять собой устройство воспроизведения аудио, например, устройство 282 воспроизведения аудио.

Устройство-приемник 682 выполнено с возможностью принимать аудиоданные 660 через цифровой мультимедийный интерфейс 670. Устройство-приемник 682 содержит декодер 661, выполненный с возможностью декодировать принимаемые аудиоданные 660 для того, чтобы получать декодированные аудиоданные 662. Приемник дополнительно содержит выход 684, выполненный с возможностью выводить декодированные выходные данные 662. Устройство-приемник содержит модуль 640 связи, выполненный с возможностью сообщать информацию 616 отдельного для устройства времени задержки, которая содержит информацию времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, например, долю 617 в отдельном для устройства времени аудиозадержки, и информацию времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, например, время 618 задержки при декодировании аудио, в ответ на запрос из устройства-источника.

Устройство-приемник выполнено с возможностью принимать аудиоданные 660 в кодированном представлении. Задача устройства-приемника 682 состоит в том, чтобы получать декодированные аудиоданные 662 из кодированных аудиоданных 660 и предоставлять декодированные аудиоданные 662, например, в качестве аналогового сигнала или слышимого сигнала. Устройство-приемник может быть выполнено с возможностью использовать различные аудиорежимы для декодирования и/или для предоставления декодированных аудиоданных 682.

Например, устройство-приемник 682 может быть выполнено с возможностью работать в первом аудиорежиме, например, в первом аудиорежиме, описанном относительно устройства-источника 100; 200; 400, либо работать во втором аудиорежиме, например, во втором аудиорежиме, описанном относительно устройства-источника 100; 200; 400. Аудиорежим может означать настройку декодера 661, при этом настройка определяет декодирование аудиоданных 660 посредством декодера 661. Выход 684 может быть выполнен с возможностью выводить слышимые аудиоданные или предоставлять декодированное представление 662 аудиоданных 660, например, декодированные аудиоданные 662 или декодированные выходные данные 662.

Следует подчеркнуть, что устройство-приемник 682 согласно фиг. 6 необязательно может дополняться посредством всех признаков, функциональностей и подробностей, которые описываются в данном документе относительно других устройств-источников. Соответствующие признаки, функциональности и подробности могут необязательно добавляться в устройство-приемник 682 отдельно либо в любой их комбинации.

F. Устройство-приемник согласно фиг. 7

Фиг. 7 показывает схематичное представление устройства-приемника 782 согласно варианту осуществления. Устройство-приемник 782 может соответствовать устройству-приемнику 682.

Устройство-приемник 782 выполнено с возможностью принимать, в качестве ввода, аудиоданные 760 в кодированном представлении, например, аудиоданные 660, через цифровой мультимедийный интерфейс 770. Цифровой мультимедийный интерфейс 770 может соответствовать цифровому мультимедийному интерфейсу 670. Цифровой мультимедийный интерфейс может иметь одинаковый или аналогичный тип с цифровым мультимедийным интерфейсом 170; 270 или может, по меньшей мере, быть выполнен с возможностью упрощать связь с цифровым мультимедийным интерфейсом 170; 270.

Устройство-приемник 782 содержит декодер, выполненный с возможностью декодировать аудиоданные 760 для того, чтобы получать декодированные аудиоданные 762, например, посредством использования первого аудиорежима или второго аудиорежима. Первый аудиорежим и второй аудиорежим могут соответствовать соответствующим первому и второму аудиорежимам, описанным в главах A, B, C, D. Устройство-приемник 782 содержит выход 784, выполненный с возможностью предоставлять декодированные аудиоданные 762.

Декодирование аудиоданных может заключать в себе время задержки, т.е. временное смещение между приемом сигнала, представляющего кодированные видеоданные, и предоставлением сигнала, представляющего декодированные видеоданные.

Поскольку устройство-приемник 782 может использовать различные аудиорежимы для декодирования аудиоданных 760, время задержки для декодирования аудиоданных 760 может изменяться соответствующим образом. Таким образом, аудиорежим может содержать время задержки для декодирования и/или предоставления, например, воспроизведения аудиоданных, которые являются конкретными для аудиорежима.

Устройство-приемник содержит модуль 740 связи, выполненный с возможностью обмениваться данными, например, через цифровой мультимедийный интерфейс 770 или через другое проводное или беспроводное соединение. Таким образом, модуль 740 связи может быть выполнен с возможностью отправлять и/или принимать сообщения. Модуль 740 связи может быть выполнен с возможностью передавать в устройство-источник, например, устройство-источник 100; 200; 400 или в другое устройство-приемник либо в другое устройство, соединенное с цифровым мультимедийным интерфейсом 770.

Модуль 740 связи выполнен с возможностью передавать время задержки устройства-приемника 782 посредством предоставления информации 716 отдельного для устройства времени задержки, которая может соответствовать информации 216; 316; 616 отдельного для устройства времени задержки.

Информация 716 отдельного для устройства времени задержки содержит информацию времени задержки, которая является конкретной для аудиорежима устройства-приемника. Время задержки первого аудиорежима называется "долей 717 в отдельном для устройства времени аудиозадержки" и может соответствовать доле 217; 317; 616 в отдельном для устройства времени аудиозадержки. Время задержки второго аудиорежима называется "временем 718 задержки при декодировании аудио" и может соответствовать времени 218; 318; 718 задержки при декодировании аудио. Информация 716 отдельного для устройства времени задержки содержит долю 717 в отдельном для устройства времени аудиозадержки и/или время 718 задержки при декодировании аудио.

Отдельное для устройства время 717 задержки при декодировании аудио может быть ассоциировано с воспроизведением декодированных аудиоданных 762, т.е. время задержки между приемом аудиоданных 760 и воспроизведением декодированных аудиоданных 762 в качестве слышимой аудиоинформации.

Другими словами, доля в информации полного времени аудиозадержки, предоставленной посредством устройства-приемника, равна информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима.

Поскольку второй аудиорежим может предоставлять декодированные аудиоданные 762 с более высоким качеством, время задержки второго аудиорежима может превышать время задержки первого аудиорежима. Следовательно, время 718 задержки при декодировании аудио может отличаться от доли 717 в отдельном для устройства времени аудиозадержки.

Время 718 задержки при декодировании аудио, ассоциированное со вторым аудиорежимом, может быть переменным таким образом, что устройство-приемник 782 может адаптировать время 718 задержки при декодировании аудио в пределах диапазона или набора возможных значений 747 времени задержки.

Другими словами, устройство-приемник 782 выполнено с возможностью предоставлять долю 717 в информации полного времени аудиозадержки, например, в информации 214; 314; 614 полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов, при этом доля 717 в информации полного времени аудиозадержки отличается от информации 718 времени задержки, ассоциированной с воспроизведением с использованием второго аудиорежима.

Устройство-приемник 782 может быть выполнено с возможностью согласовывать время 718 задержки при декодировании аудио с другим устройством, например, с устройством-источником, например, с устройством-источником 100; 200; 400. Устройство-приемник 782 может быть выполнено с возможностью адаптировать время 718 задержки при декодировании аудио в результате согласования времени 718 задержки при декодировании аудио.

Другими словами, устройство-приемник 782 выполнено с возможностью согласовывать время 718 задержки при декодировании или время задержки при воспроизведении, ассоциированное со вторым аудиорежимом, с устройством-источником.

Устройство-приемник 782 выполнено с возможностью отправлять сообщение, содержащее возможные значения 747 времени задержки, например, в форме информации охвата времен задержки, описывающей возможные значения 747 времени задержки в качестве охвата, или в форме информации списка времен задержки, содержащей возможные значения 747 времени задержки в качестве списка.

Устройство-приемник 782 дополнительно выполнено с возможностью принимать сообщение 749 выбора времени задержки, которое может содержать требуемое значение времени задержки, предлагаемое или запрашиваемое посредством другого устройства, например, устройства-источника, например, требуемое значение 448 времени задержки. Устройство-приемник выполнено с возможностью адаптировать время 418 задержки при декодировании аудио согласно требуемому значению времени задержки, если возможные значения 747 времени задержки содержат требуемое значение времени задержки.

Устройство-приемник 782 может быть выполнено с возможностью предоставлять информацию, содержащую информацию 718 аудиозадержки, например, информацию отдельного для устройства времени задержки, после приема сообщения 749 выбора времени задержки, так что информация содержит текущее значение информации 718 аудиозадержки, соответствующей значению информации 718 аудиозадержки, после решения устройства-приемника 782, если необходимо адаптировать значение информации 718 аудиозадержки согласно сообщению 749 выбора времени задержки.

Другими словами, устройство-приемник 782 выполнено с возможностью предоставлять информацию охвата времен задержки, описывающую охват возможных значений 747 времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник или предоставлять информацию списка времен задержки, описывающую одно или более возможных значений 747 времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник. Устройство-приемник 782 дополнительно выполнено с возможностью принимать сообщение 749 выбора времени задержки из устройства-источника и задавать время 718 задержки при декодировании или время задержки при воспроизведении в ответ на сообщение 749 выбора времени задержки.

Например, устройство-приемник 782 может быть выполнено с возможностью принимать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, из устройства-источника (например, из устройства-источника 100; 200; 400) и предоставлять соответствующее сообщение ответа (например, содержащее информацию, показанную в табл. 2 или альтернативно и необязательно в табл. 3, например, предоставляющую информацию 716 отдельного для устройства времени задержки или возможные значения 747 времени задержки).

G. Устройство-приемник, например, устройство рендеринга видео, согласно фиг. 8

Фиг. 8 показывает схематичное представление устройства-приемника 892 согласно варианту осуществления. Устройство-приемник 892 может представлять собой устройство рендеринга видео, например, устройство 292 рендеринга видео.

Устройство-приемник 892 выполнено с возможностью принимать видеоданные 865 через цифровой мультимедийный интерфейс 870. Устройство-приемник содержит модуль 866 рендеринга, выполненный с возможностью подготавливать посредством рендеринга принимаемые видеоданные 865. Устройство-приемник 892 дополнительно содержит модуль 840 связи, выполненный с возможностью сообщать информацию 909 отдельного для устройства времени задержки, которая содержит информацию 827 времени задержки, представляющую долю в информации полного времени видеозадержки, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов, и информацию 828 времени задержки, представляющую фактическое время задержки рендеринга видеоданных.

Например, устройство-приемник выполнено с возможностью принимать видеоданные 265 в декодированном представлении, например, видеоданные 165; 265. Задача устройства-приемника состоит в том, чтобы подготавливать посредством рендеринга видеоданные 265, чтобы получать подготовленные посредством рендеринга видеоданные. Подготовленные посредством рендеринга видеоданные, например, могут предоставляться на выход, к примеру, на экран, либо на выход, предоставляющий аналоговый сигнал. Устройство-видеоприемник может использовать различные видеорежимы для рендеринга видеоданных 265. Посредством сообщения информации отдельного для устройства времени задержки, устройство-приемник может поддерживать точное регулирование временного совмещения между предоставлением подготовленных посредством рендеринга видеоданных на выход и воспроизведением связанных аудиоданных, например, посредством устройства воспроизведения аудио.

Следует подчеркнуть, что устройство-приемник 892 согласно фиг. 8 необязательно может дополняться посредством всех признаков, функциональностей и подробностей, которые описываются в данном документе относительно других устройств-источников. Соответствующие признаки, функциональности и подробности могут необязательно добавляться в устройство-приемник 892 отдельно либо в любой их комбинации.

H. Устройство-приемник, например, устройство рендеринга видео, согласно фиг. 9

Фиг. 9 показывает схематичное представление устройства-приемника 992 согласно варианту осуществления. Устройство-приемник 992 может соответствовать устройству-приемнику 982.

Устройство-приемник 992 выполнено с возможностью принимать, в качестве ввода, видеоданные 965 в декодированном представлении, например, видеоданные 965, через цифровой мультимедийный интерфейс 970. Цифровой мультимедийный интерфейс 970 может соответствовать цифровому мультимедийному интерфейсу 870. Цифровой мультимедийный интерфейс может иметь одинаковый или аналогичный тип с цифровым мультимедийным интерфейсом 170; 270; 670; 770 или может, по меньшей мере, быть выполнен с возможностью упрощать связь с цифровым мультимедийным интерфейсом 170; 270; 670; 770.

Устройство-приемник 992 содержит модуль рендеринга, выполненный с возможностью подготавливать посредством рендеринга видеоданные 965, например, посредством использования конкретного видеорежима, такого как кинорежим или игровой режим.

Рендеринг видеоданных может заключать в себе время задержки, т.е. временное смещение между приемом сигнала, представляющего видеоданные 965, и предоставлением подготовленных посредством рендеринга видеоданных.

Поскольку устройство-приемник 992 может быть выполнено с возможностью использовать конкретный видеорежим из различных видеорежимов для декодирования видеоданных 965, время задержки для рендеринга видеоданных 965 может изменяться соответствующим образом. Таким образом, видеорежим может содержать время задержки для рендеринга и/или предоставления, например, воспроизведения видеоданных, которые являются конкретными для видеорежима.

Устройство-приемник содержит модуль 940 связи, выполненный с возможностью обмениваться данными, например, через цифровой мультимедийный интерфейс 970 или через другое проводное или беспроводное соединение. Таким образом, модуль 940 связи может быть выполнен с возможностью отправлять и/или принимать сообщения. Модуль 940 связи может быть выполнен с возможностью передавать в устройство-источник, например, устройство-источник 100; 200; 400 или в другое устройство-приемник либо в другое устройство, соединенное с цифровым мультимедийным интерфейсом 970.

Модуль 940 связи выполнен с возможностью передавать время задержки устройства-приемника 992 посредством предоставления информации 909 отдельного для устройства времени задержки, которая может содержать информацию 226; 326; 626 отдельного для устройства времени видеозадержки и необязательно также информацию 216; 316; 616 отдельного для устройства времени аудиозадержки.

Информация 909 отдельного для устройства времени задержки содержит информацию времени задержки, которая является конкретной для видеорежима устройства-приемника. Устройство-приемник может содержать стандартный видеорежим. Время задержки стандартного видеорежима может называться "долей 927 в отдельном для устройства времени видеозадержки" и может соответствовать доле 227; 327; 827 в отдельном для устройства времени видеозадержки. Модуль 966 рендеринга может допускать использование другого видеорежима, отличающегося от стандартного видеорежима. Другой видеорежим может заключать в себе время задержки, отличающееся от доли 927 в отдельном для устройства времени видеозадержки. Время задержки видеорежима, в данный момент используемого в ходе работы устройства-приемника 992, может описываться посредством информации 928 текущего времени видеозадержки, например, информации 228; 328; 828 текущего времени видеозадержки, которая может представлять собой часть информации 909 отдельного для устройства времени задержки.

Другими словами, устройство-приемник 992 выполнено с возможностью предоставлять долю 927 устройства-приемника в информации полного времени видеозадержки, например, в информации 227; 327 полного времени видеозадержки, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов, при этом доля 927 в информации полного времени аудиозадержки или информации полного времени видеозадержки отличается от информации 928 времени задержки, представляющей фактическое время задержки рендеринга видеоданных.

Устройство 992 рендеринга видео дополнительно может быть выполнено с возможностью принимать аудиоданные 960, например, через цифровой мультимедийный интерфейс 970 (называемый "первым цифровым мультимедийным интерфейсом 970"). Устройство 992 рендеринга видео может содержать второй цифровой мультимедийный интерфейс 975. Устройство 992 рендеринга видео может быть выполнено с возможностью предоставлять или выводить аудиоданные 960 по второму цифровому мультимедийному интерфейсу 975, например, неизменными. Таким образом, устройство 992 рендеринга видео может быть выполнено с возможностью транзитно пересылать или перенаправлять аудиоданные 960.

Например, устройство 992 рендеринга видео может быть выполнено с возможностью принимать видеоданные 965 и аудиоданные 960 одновременно через первый цифровой мультимедийный интерфейс 970, например, из устройства-источника, предоставляющего аудиоданные 960 и видеоданные 965, по одному цифровому мультимедийному интерфейсу. Устройство рендеринга видео может быть выполнено с возможностью подготавливать посредством рендеринга видеоданные 965 и транзитно пересылать аудиоданные 960 таким образом, что аудиоданные 960 могут приниматься и воспроизводиться посредством устройства воспроизведения аудио, например, устройства 282; 682; 782 воспроизведения аудио. Таким образом, устройство 992 рендеринга видео может разбивать аудиотракт и видеотракт.

В случае если устройство 992 рендеринга видео выполнено с возможностью транзитно пересылать аудиоданные, устройство 992 рендеринга видео может представлять собой часть аудиотракта, например, аудиотракта 180; 280. Следовательно, устройство 992 рендеринга видео может вносить долю во время задержки аудиотракта. Устройство 992 рендеринга видео может быть выполнено с возможностью сообщать отдельное для устройства время задержки относительно аудиотракта, например, в форме доли 917 в отдельном для устройства времени аудиозадержки, которая представляет собой долю устройства 992 рендеринга видео в информации полного времени аудиозадержки, например, в информации 214 полного времени аудиозадержки. Например, информация 909 отдельного для устройства времени задержки может содержать долю 917 в отдельном для устройства времени аудиозадержки, которая может соответствовать доле 217 в отдельном для устройства времени аудиозадержки. Доля 917 в отдельном для устройства времени аудиозадержки, например, может означать время задержки, ассоциированное с воспроизведением аудиоданных 960 в первом аудиорежиме, например, посредством устройства воспроизведения аудио, соединенного со вторым цифровым мультимедийным интерфейсом 975. Доля 917 в отдельном для устройства времени аудиозадержки, например, может также означать среднее множества значений времени задержки, ассоциированных с множеством режимов воспроизведения аудио.

Другими словами, устройство-приемник 992 выполнено с возможностью предоставлять информацию 909 отдельного для устройства времени задержки таким образом, что информация 909 отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника, содержит информацию времени задержки, ассоциированную с перенаправлением аудиоданных 960 из первого цифрового мультимедийного интерфейса 970 во второй цифровой мультимедийный интерфейс 975.

Устройство 992 рендеринга видео, например, может быть выполнено с возможностью поддерживать второй аудиорежим. Например, устройство рендеринга видео может быть выполнено с возможностью транзитно пересылать аудиоданные 960 таким образом, что аудиоданные 960 могут воспроизводиться с использованием второго аудиорежима. Значение времени задержки, описывающее время задержки между приемом аудиоданных 960 по первому цифровому мультимедийному интерфейсу 970 и предоставлением аудиоданных 960 по второму цифровому мультимедийному интерфейсу 975 для второго аудиорежима, описывается посредством информации 919 отдельного для устройства времени задержки при транзитной пересылке, например, информации 219 отдельного для устройства времени задержки при транзитной пересылке, которая может представлять собой часть информации 909 отдельного для устройства времени задержки.

Другими словами, информация 909 отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника 992, также может содержать информацию 917 времени задержки, ассоциированную с воспроизведением аудио с использованием первого аудиорежима; и/или информацию 917 среднего времени задержки, ассоциированную с воспроизведением аудио с использованием множества различных режимов; и/или информацию 919 времени задержки, ассоциированную с транзитной пересылкой аудиоинформации для второго аудиорежима.

Поскольку информация 919 отдельного для устройства времени задержки при транзитной пересылке связана с транзитной пересылкой аудиоданных для второго аудиорежима, она может отличаться от доли 917 в отдельном для устройства времени аудиозадержки, которая, например, может быть связана с воспроизведением в первом аудиорежиме и/или транзитной пересылкой аудиоданных для первого аудиорежима.

Другими словами, устройство-приемник 992 может быть выполнено с возможностью предоставлять долю 917 в информации полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов, при этом доля 917 в информации полного времени аудиозадержки отличается от информации времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима.

Например, устройство-приемник 992 может быть выполнено с возможностью принимать одно или более сообщений, показанных в табл. 2 или альтернативно и необязательно в табл. 3, из устройства-источника (например, из устройства-источника 100; 200; 400) и предоставлять соответствующее сообщение ответа (например, содержащее информацию, показанную в табл. 2 или альтернативно и необязательно в табл. 3, например, предоставляющую информацию 909 отдельного для устройства времени задержки).

G. Способ для предоставления аудиоданных и видеоданных согласно фиг. 10

Фиг. 10 показывает блок-схему способа 1000 для предоставления аудиоданных и видеоданных согласно варианту осуществления.

Способ 1000 для предоставления аудиоданных, например, аудиоданных 160; 260; 660; 760; 960 и видеоданных, например, видеоданных 165; 265; 865; 965, по одному или более цифровых мультимедийных интерфейсов, например, по одному или более цифровых мультимедийных интерфейсов 170; 270, содержит этап 1010 автоматического регулирования временного совмещения, например, временного совмещения 150; 250; 350 между предоставлением аудиоданных, например, аудиоданных 160; 260; 660; 760; 960 и предоставлением видеоданных, например, видеоданных 165; 265; 865; 965, на основе информации относительно времени задержки аудиотракта, например, информации 110; 210; 310 относительно времени задержки аудиотракта и на основе информации относительно времени задержки видеотракта, например, информации 120; 220; 320 относительно времени задержки видеотракта.

H. Способ для управления устройством воспроизведения аудио согласно фиг. 11

Фиг. 11 показывает блок-схему способа 1100 для управления устройством-приемником, например, устройством 282; 482; 682; 782 воспроизведения аудио, согласно варианту осуществления.

Способ 1100 содержит этап 1110 приема аудиоданных, например, аудиоданных 160; 260; 660; 760; 960, через цифровой мультимедийный интерфейс, например, через один или более цифровых мультимедийных интерфейсов 170; 270. Способ 1100 содержит дополнительный этап 1120 декодирования принимаемых аудиоданных для того, чтобы получать декодированные аудиоданные, например, декодированные аудиоданные 662; 762. Способ 1100 содержит дополнительный этап 1230 вывода декодированных выходных данных. Способ 1100 содержит дополнительный этап 1240 сообщения информации отдельного для устройства времени задержки, например, информации 616; 716 отдельного для устройства времени задержки, которая содержит информацию времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, и информацию времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, в ответ на запрос из устройства-источника.

Следует подчеркнуть, что последовательность этапов способа 1100, представленная на фиг. 11, не является обязательной, и этапы могут выполняться в любой другой последовательности или параллельно. В частности, этап 1140 может выполняться независимо, т.е. до, после или с перекрытием во времени относительно других этапов.

I. Способ для управления устройствами рендеринга видео согласно фиг. 12

Фиг. 12 показывает блок-схему способа 1200 для управления устройством-приемником, например, устройством 292; 892; 992 рендеринга видео, согласно варианту осуществления.

Способ 1200 содержит этап 1210 приема видеоданных, например, видеоданных 165; 265; 865; 965 через цифровой мультимедийный интерфейс, например, цифровой мультимедийный интерфейс 870; 970. Способ 1200 содержит дополнительный этап 1220 рендеринга принимаемых видеоданных. Способ 1200 содержит дополнительный этап 1230 сообщения информации отдельного для устройства времени задержки, например, информации 809; 909 отдельного для устройства времени задержки, которая содержит информацию времени задержки, например, долю 227; 327; 827; 927 в отдельном для устройства времени видеозадержки, представляющую долю в информации полного времени видеозадержки, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов; и информацию времени задержки, например, информацию 228; 328; 828; 929 текущего времени видеозадержки, представляющую фактическое время задержки рендеринга видеоданных.

Следует подчеркнуть, что последовательность этапов способа 1200, представленная на фиг. 12, не является обязательной, и этапы могут выполняться в любой другой последовательности или параллельно. В частности, этап 1230 может выполняться независимо, т.е. до, после или с перекрытием во времени относительно других этапов.

J. Дополнительные варианты осуществления, аспекты и преимущества

Дополнительные варианты осуществления настоящего изобретения описываются посредством следующих дополнительных вариантов осуществления:

1) Устройство-источник для воспроизведения аудио- и видеоданных по HDMI-порту согласно спецификации HDMI 1.4 или выше, причем устройство-источник содержит:

- автоматическое регулирование временного совмещения между воспроизводимым аудиопотоком и видеопотоком на основе информации относительно времени задержки аудиотракта (от вывода HDMI-источника до слышимого аудио) и времени задержки видеотракта (от вывода HDMI-источника до видимого видео).

2) Устройство-источник согласно дополнительному варианту 1 осуществления, в котором видеопоток может задерживаться в сжатой области, если время задержки аудиотракта превышает время задержки видеотракта.

3) Устройство-источник согласно одному из дополнительных вариантов 1 или 2 осуществления, при этом устройство-источник реализует CEC DaNoL-протокол, заданный в "CEC-обнаружении и согласовании времен задержки (CEC DaNoL)".

4) Устройство-источник согласно одному из дополнительных вариантов 1-3 осуществления, при этом устройство-источник выполняет этапы, заданные в документе "MPEG-H-алгоритм регулирования задержек источников (MASDA)", с тем чтобы получать максимально возможное количество параметров, которые могут использоваться для того, чтобы вычислять времена задержки аудиотракта и видеотракта:

a) выполнение либо "8.7.3. Алгоритм обнаружения" (HDMI 1.4b), либо "10.9. Алгоритм обнаружения" (HDMI 2.1x) для того, чтобы обнаруживать топологию соединенных устройств от устройства-источника до видеоприемника и от устройства-источника до аудиоприемника,

b) считывание EDID и извлечение информации относительно времени аудиозадержки и времени видеозадержки, если она доступна,

c) (необязательно) согласование MPEG-H-времени задержки при декодировании аудио аудиоприемника с использованием CEC DaNoL,

d) сбор информации времени задержки с CEC DaNoL-протоколом из всех устройств в аудиотракте и видеотракте, которые поддерживают CEC DaNoL.

5) Устройство-источник согласно одному из дополнительных вариантов 1-3 осуществления, при этом устройство-источник может передавать в другие устройства с использованием WLAN или Ethernet, или Bluetooth либо другого сетевого соединения, и при этом данная связь используется посредством устройства-источника для того, чтобы собирать информацию времени задержки других устройств, которая в противном случае должна собираться с использованием CEC DaNoL.

6) Устройство-источник согласно одному из дополнительных вариантов 1-5 осуществления, при этом устройство-источник:

a) вычисляет оптимальную доступную оценку времени видеозадержки, заданную в MASDA,

b) вычисляет оптимальную доступную оценку времени аудиозадержки, заданную в MASDA.

7) Устройство-источник согласно одному из дополнительных вариантов 1-6 осуществления, при этом устройство-источник использует собранную информацию времени задержки для того, чтобы регулировать совмещение между аудио и видео, заданное в MASDA.

8) Устройство-источник согласно одному из дополнительных вариантов 1-7 осуществления, при этом устройство-источник предоставляет пользователю интерфейс для того, чтобы вручную подстраивать аудио-видеосовмещение.

9) Устройство-видеоприемник с HDMI-входом согласно HDMI 1.4 или выше, которое реализует обмен информацией времени задержки с использованием CEC DaNoL.

10) Устройство-аудиоприемник с HDMI- или HDMI ARC-входом, которое реализует обмен информацией времени задержки с использованием CEC DaNoL.

11) Устройство-аудиоприемник по п. 10, которое дополнительно имеет S/PDIF-аудиовход (электрический или оптический).

Традиционное решение: сегодняшняя схема синхронизации

(Подробности, поясненные в данном документе, могут необязательно вводиться в варианты осуществления)

Традиционные подходы к тому, чтобы улучшать синхронизацию между воспроизведением аудио и воспроизведением видео, подчиняются следующим ограничениям:

1) HDMI 1.4 и 2.0 ожидают то, что устройства-источники воспроизводят аудио и видео синхронно.

2) Устройства-приемники предположительно должны задерживать аудио на одинаковую величину, которая требуется для рендеринга видео.

3) Времена аудиозадержки, большие времени видеозадержки+20 мс, запрещаются в этой схеме.

4) Обнаружение времени видеозадержки (посредством устройств, отличных от видеоприемника) основано на необязательных механизмах, которые обычно не реализуются в сегодняшних устройствах. На практике, устройства-аудиоприемники в силу этого обычно не могут обнаруживать время видеозадержки.

Аспекты вариантов осуществления изобретения

(Варианты осуществления согласно изобретению могут реализовывать один или более либо все аспекты, упомянутые далее)

Следующие аспекты могут осуществляться посредством вариантов осуществления настоящего изобретения, чтобы разрешать проблему:

1) Задание нового набора конкретных для производителя CEC-команд (совместимых со всеми HDMI-версиями начиная с HDMI 1.3), который обеспечивает возможность устройствам-источникам и приемникам непосредственно обмениваться множеством времен аудио- и/или видеозадержки между собой. См. главу "CEC-обнаружение и согласование времен задержки (CEC DaNoL)". Один или более либо все признаки, функциональности и подробности, описанные в упомянутой главе, могут необязательно использоваться, как отдельно, так и в комбинации.

2) Использование всей информации (или, по меньшей мере, некоторой информации или, по меньшей мере, релевантной информации) из существующих ресурсов для того, чтобы обнаруживать топологию компоновки (тракт из источника в приемник) и обнаруживать времена аудио- и видеозадержки. Ее комбинирование и улучшение с помощью информации из применения CEC DaNoL. Альтернативно, информацией, которой нормально следует обмениваться через CEC DaNoL, можно обмениваться с использованием других трактов связи между устройствами.

3) Осуществление временного регулирования между аудио и видео в устройстве-источнике посредством использования всей известной информации (или всей релевантной информации). Поскольку видео должно быть доступно в сжатом формате в устройстве-источнике, оно может задерживаться в устройстве-источнике только с обоснованными усилиями.

Этапы 2) и 3) подробно описываются в главе C.1 "MPEG-H-алгоритм регулирования задержек источников (MASDA)" также с учетом того факта, что информация может быть доступной только частично. Один или более либо все признаки, функциональности и подробности, описанные в упомянутой главе, могут необязательно использоваться, как отдельно, так и в комбинации.

Преимущества изобретения

(Варианты осуществления изобретения могут содержать один или более либо все следующие преимущества),

1) Синхронизация артикуляции по губам может достигаться, если время аудиозадержки превышает время видеозадержки+20 мс.

2) Предложенный способ является совместимым со спецификацией HDMI 1.4 и HDMI 2.0.

3) Предложенный способ может использоваться в комбинации устройств, которые поддерживают или не поддерживают CEC DaNoL.

4) Предложенный способ использует постепенное ухудшение, при котором он должен постепенно уменьшаться в отношении точности, если не вся информация является доступной, но он по-прежнему должен быть применимым.

5) Предложенный способ может обнаруживать время аудиозадержки тракта между источником и приемником, если CEC DaNoL поддерживается в источнике и приемнике, и если информация времени задержки из EDID поддерживается в тракте.

6) Предложенный способ может регулировать время аудио- и видеозадержки независимо для каждого аудиокодека и даже для его дополнительных разновидностей.

7) Предложенный способ превосходит скорость и надежность существующих алгоритмов управления синхронизацией артикуляции по губам (которые задаются только для случаев, в которых: время аудиозадержки < время видеозадержки+20 мс).

8) Предложенный способ DaNoL задает согласование времени задержки между устройством-источником и устройством декодирования аудио таким образом, что можно регулировать время задержки до самого подходящего значения.

9) Предложенный способ задает приоритеты для каждой полученной информации и использует только самые надежные элементы информации, но работает до уровня оцененных значений.

K. Дополнительные аспекты

Некоторые или все этапы способа могут выполняться посредством (или с использованием) аппаратного оборудования, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, один или более из самых важных этапов способа могут выполняться посредством этого оборудования.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах либо в программном обеспечении, либо, по меньшей мере, частично в аппаратных средствах, либо, по меньшей мере, частично в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные электронно считываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ. Следовательно, цифровой носитель хранения данных может быть машиночитаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может сохраняться на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления изобретаемого способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель хранения данных или носитель с записанными данными обычно является материальным и/или энергонезависимым.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит оборудование или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Оборудование или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного оборудования.

Оборудование, описанное в данном документе, может реализовываться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.

Способы, описанные в данном документе, могут осуществляться с использованием аппаратного оборудования либо с использованием компьютера, либо с использованием комбинации аппаратного оборудования и компьютера.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.

Сокращения

Ниже по тексту примерно описываются сокращения, используемые в вышеприведенных описаниях. Все подробности являются необязательными. Подробности, используемые для пояснения сокращений, могут необязательно вводиться в любой из вариантов осуществления, описанных в данном документе, отдельно и в любой комбинации.

	MPEG-H-время задержки при декодировании аудио представляет собой время, необходимое посредством устройства от ввода MPEG-H-потока битов до аудиовывода.
	MPEG-H-время задержки при декодировании аудио по умолчанию составляет 250 мс. Оно используется, если согласование невозможно, либо если согласование выполнено неудачно.
	Согласованное MPEG-H-время задержки при декодировании аудио представляет собой результат согласования времени задержки между аудиоисточником и приемником и разрешается в области [0, 500] мс.
	MPEG-H-время аудиозадержки при транзитной пересылке необходимо от ввода MPEG-H-потока битов до вывода.
	Время аудиозадержки при транзитной пересылке "пересылка в S/PDIF" телевизора используется, если входной HDMI-поток битов преобразуется в S/PDIF. Это время задержки является только внутренне релевантным для телевизора.
	Время задержки аудио, вызываемого посредством устройств между устройством-источником и устройством декодирования аудио. В небольших компоновках, может не быть предусмотрено устройств в тракте.
	Отрегулированное время задержки в аудиотракте заменяет каждое время аудиозадержки MPEG-H-устройства на MPEG-H-время задержки при транзитной пересылке.
	Время задержки в аудиотракте по умолчанию.
	Время задержки в аудиотракте согласно EDID.
	Время задержки в аудиотракте согласно CEC-информации, полученной только из MPEG-H-устройств.
	Дополнительное время аудиозадержки, которое источник применяет для того, чтобы достигать синхронизации артикуляции по губам в случае, если аудио находится перед видео.
	Дополнительное время видеозадержки, которое источник применяет для того, чтобы достигать синхронизации артикуляции по губам в случае, если видео находится перед аудио.
	Время видеозадержки по умолчанию устройства воспроизведения видео составляет 70 мс. Это значение используется, если невозможно получать фактическое значение.
	Оно представляет собой время аудиозадержки, которое устройство-источник получает через конкретный для производителя EDID-блок данных (HDMI VSDB).
	Оно представляет собой время видеозадержки, которое устройство-источник получает через конкретный для производителя EDID-блок данных (HDMI VSDB).
	Полное время видеозадержки.
	Устройство n в видеотракте суммирует это значение времени видеозадержки в EDID. Оно получается через CEC.
	Текущее время видеозадержки устройства рендеринга видео, полученное посредством динамической автосинхронизации артикуляции по губам (DALS), см. HDMI 2.0a 10.7.
	MPEG-H-устройство суммирует это значение времени аудиозадержки в EDID. Оно не связано с MPEG-H, а используется для того, чтобы вычислять время задержки в аудиотракте.
CEC DaNoL-информация	]_device
CEC	Управление бытовыми электронными приборами
DaNoL	Обнаружение и согласование времен задержки
EDID	Расширенные идентификационные данные дисплея
MPEG-H	Стандарты группы H Экспертной группы по киноизображению

Claims

1. Устройство-источник (100; 200; 400) для предоставления аудиоданных (160; 260; 660; 760; 960) и видеоданных (165; 265; 865; 965) по одному или более из цифровых мультимедийных интерфейсов (170; 270),

при этом устройство-источник (100; 200; 400) выполнено с возможностью автоматически регулировать временное совмещение (150; 250; 350) между предоставлением аудиоданных (160; 260; 660; 760; 960) и предоставлением видеоданных (165; 265; 865; 965) на основе информации (110; 210; 310) относительно времени задержки аудиотракта (180; 280) и на основе информации (120; 220; 320) относительно времени задержки видеотракта (190; 290),

при этом устройство-источник (100; 200; 400) выполнено с возможностью определять информацию (120; 220; 320) относительно времени задержки видеотракта с использованием:

информации полного времени видеозадержки, описывающей полное время задержки видеотракта для первого видеорежима либо описывающей среднее полное время задержки видеотракта для множества видеорежимов,

статической информации времени задержки, описывающей долю устройства (292; 892; 992) рендеринга видео в информации полного времени видеозадержки, и

информации текущего времени видеозадержки устройства (292; 892; 992) рендеринга видео,

если информация полного времени видеозадержки, информация времени задержки, описывающая долю устройства (292; 892; 992) рендеринга видео в информации полного времени видеозадержки, и информация текущего времени видеозадержки устройства (292; 892; 992) рендеринга видео являются доступными для устройства-источника (100; 200; 400), но некоторая информация отдельного для устройства текущего времени видеозадержки является недоступной для устройства-источника (100; 200; 400).

2. Устройство-источник (100; 200; 400) по п. 1,

при этом устройство-источник (100; 200; 400) выполнено с возможностью:

получать кодированное видеопредставление (267),

декодировать кодированное видеопредставление (267) для получения декодированного видеопредставления, и

предоставлять видеоданные (165; 265; 865; 965) таким образом, что видеоданные (165; 265; 865; 965) представляют декодированное видеопредставление, и

при этом устройство-источник (100; 200; 400) выполнено с возможностью избирательно задерживать декодирование кодированного видеопредставления (267) на основе информации (110; 210; 310) относительно времени задержки аудиотракта и информации (120; 220; 320) относительно времени задержки видеотракта.

3. Устройство-источник (100; 200; 400) по одному из пп. 1, 2,

при этом устройство-источник (100; 200; 400) выполнено с возможностью получать информацию (110; 210; 310) относительно времени задержки аудиотракта с использованием информации (212) аудиозадержки, которая получается из устройства (282; 482; 682; 782) воспроизведения аудио через один из одного или более цифровых интерфейсов (170; 270), и/или

при этом устройство-источник (100; 200; 400) выполнено с возможностью получать информацию (120; 220; 320) относительно времени задержки видеотракта с использованием информации (222) видеозадержки, которая получается из устройства (292; 892; 992) рендеринга видео через один из одного или более цифровых интерфейсов (170; 270).

4. Устройство-источник (100; 200; 400) по одному из пп. 1-3,

при этом устройство-источник (100; 200; 400) выполнено с возможностью согласовывать время (218; 318; 418) задержки при декодировании с устройством (282; 482; 682; 782) воспроизведения аудио и регулировать временное совмещение (150; 250; 350) в зависимости от согласованного времени задержки при декодировании.

5. Устройство-источник (100; 200; 400) по п. 4,

при этом устройство-источник (100; 200; 400) выполнено с возможностью получать информацию охвата времен задержки, описывающую охват возможных значений (447; 747) времени задержки, из устройства (282; 482; 682; 782) воспроизведения аудио или получать информацию списка времен задержки, описывающую одно или более из возможных значений (447; 747) времени задержки, из устройства (282; 482; 682; 782) воспроизведения аудио, и

при этом устройство-источник (100; 200; 400) выполнено с возможностью выбирать требуемое значение (448) времени задержки на основе информации охвата времен задержки или информации списка времен задержки; и

при этом устройство-источник (100; 200; 400) выполнено с возможностью инструктировать устройству (282; 482; 682; 782) воспроизведения аудио использовать требуемое значение (448) времени задержки; и

при этом устройство-источник (100; 200; 400) выполнено с возможностью регулировать временное совмещение (150; 250; 350) в зависимости от выбранного требуемого значения (448) времени задержки при воспроизведении аудио.

6. Устройство-источник (100; 200; 400) по п. 5,

при этом устройство-источник (100; 200; 400) выполнено с возможностью верифицировать то, использует или нет устройство (282; 482; 682; 782) воспроизведения аудио выбранное требуемое значение (448) времени задержки согласно инструкции, и

при этом устройство-источник (100; 200; 400) выполнено с возможностью рассматривать значение времени задержки по умолчанию, если устройство (282; 482; 682; 782) воспроизведения аудио не может использовать выбранное требуемое значение (448) времени задержки.

7. Устройство-источник (100; 200; 400) по п. 5 или 6,

при этом устройство-источник (100; 200; 400) выполнено с возможностью принимать запрос на согласование времени задержки, содержащий информацию охвата времен задержки, описывающую охват возможных значений (447; 747) времени задержки, из устройства (282; 482; 682; 782) воспроизведения аудио, или содержащий информацию списка времен задержки, описывающую одно или более из возможных значений (447; 747) времени задержки, из устройства (282; 482; 682; 782) воспроизведения аудио, и

при этом устройство-источник (100; 200; 400) выполнено с возможностью выбирать требуемое значение (448) времени задержки на основе информации охвата времен задержки или информации списка времен задержки.

8. Устройство-источник (100; 200; 400) по одному из пп. 1-7,

при этом устройство-источник (100; 200; 400) выполнено с возможностью обнаруживать топологию соединения между устройством-источником (100; 200; 400) и устройством (282; 482; 682; 782) воспроизведения аудио, а также соединения между устройством-источником (100; 200; 400) и устройством (292; 892; 992) рендеринга видео, чтобы получать информацию (395) топологии, и

при этом устройство-источник (100; 200; 400) выполнено с возможностью регулировать временное совмещение (150; 250; 350) в зависимости от информации (395) топологии.

9. Устройство-источник (100; 200; 400) по одному из пп. 1-8,

при этом устройство-источник (100; 200; 400) выполнено с возможностью получать информацию (214; 314) полного времени аудиозадержки, описывающую полное время задержки аудиотракта для первого аудиорежима либо описывающую среднее полное время задержки аудиотракта для множества аудиорежимов, и/или

при этом устройство-источник (100; 200; 400) выполнено с возможностью получать информацию полного времени видеозадержки, описывающую полное время задержки видеотракта для первого видеорежима либо описывающую среднее полное время задержки видеотракта для множества видеорежимов.

10. Устройство-источник (100; 200; 400) по одному из пп. 1-9,

при этом устройство-источник (100; 200; 400) выполнено с возможностью выполнять запрос в отношении множества отдельных устройств на предмет информации отдельного для устройства времени задержки.

11. Устройство-источник (100; 200; 400) по одному из пп. 1-10,

при этом устройство-источник (100; 200; 400) выполнено с возможностью определять информацию (120; 220; 320) относительно времени задержки видеотракта:

с использованием суммирования информации отдельного для устройства текущего времени видеозадержки, если информация отдельного для устройства текущего времени видеозадержки является доступной для устройства-источника (100; 200; 400), для устройства (292; 892; 992) рендеринга видео и всех устройств между устройством-источником (100; 200; 400) и устройством (292; 892; 992) рендеринга видео; и/или

с использованием полной информации рендеринга видео, если полная информация рендеринга видео является доступной для устройства-источника (100; 200; 400), но информация текущего времени видеозадержки устройства (292; 892; 992) рендеринга видео является недоступной для устройства-источника (100; 200; 400).

12. Устройство-источник (100; 200; 400) по одному из пп. 1-11,

при этом устройство-источник (100; 200; 400) выполнено с возможностью определять информацию (110; 210; 310) относительно времени задержки аудиотракта:

с использованием суммирования информации (218) отдельного для устройства времени задержки при транзитной пересылке, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима, если информация (218) отдельного для устройства времени задержки при транзитной пересылке является доступной для всех устройств между устройством-источником (100; 200; 400) и устройством (282; 482; 682; 782) воспроизведения аудио; и/или

с использованием информации (214; 314) полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов; и/или

с использованием суммирования любой известной или оцененной информации времени аудиозадержки устройств в аудиотракте между устройством-источником (100; 200; 400) и устройством (282; 482; 682; 782) воспроизведения аудио.

13. Устройство-источник (100; 200; 400) по одному из пп. 1-12,

при этом устройство-источник (100; 200; 400) выполнено с возможностью корректировать информацию (110; 210; 310) относительно времени задержки аудиотракта, полученную с использованием информации (214) полного времени аудиозадержки, с использованием информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима, и с использованием информации времени задержки относительно времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима.

14. Устройство-источник (100; 200; 400) по одному из пп. 1-13,

при этом устройство-источник (100; 200; 400) выполнено с возможностью выбирать правило определения для определения информации (120; 220; 320) относительно времени задержки видеотракта в зависимости от объема информации, доступного для источника.

15. Устройство-источник (100; 200; 400) по одному из пп. 1-14,

при этом устройство-источник (100; 200; 400) выполнено с возможностью определять задержку, которая должна применяться при предоставлении аудиоданных (160; 260; 660; 760; 960), и/или задержку, которая должна применяться при предоставлении видеоданных (165; 265; 865; 965) в зависимости от информации (120; 220; 320) относительно времени задержки видеотракта и в зависимости от информации (110; 210; 310) относительно времени задержки аудиотракта.

16. Устройство-источник (100; 200; 400) по одному из пп. 1-15,

при этом устройство-источник (100; 200; 400) выполнено с возможностью также предоставлять возможность регулирования временного совмещения (150; 250; 350) с использованием пользовательского интерфейса (205).

17. Устройство-источник (100; 200; 400) по одному из пп. 1-16,

при этом устройство-источник (100; 200; 400) выполнено с возможностью обмениваться данными с устройством (282; 482; 682; 782) воспроизведения аудио, и/или с устройством (292; 892; 992) рендеринга видео, и/или с одним или более из устройств между устройством-источником (100; 200; 400) и устройством (282; 482; 682; 782) воспроизведения аудио, и/или с одним или более из устройств между устройством-источником (100; 200; 400) и устройством (292; 892; 992) рендеринга видео с использованием дополнительного канала (207) связи, который является отдельным от одного или более из цифровых мультимедийных интерфейсов (170; 270) для того, чтобы получать информацию времени задержки из одного или более устройств.

18. Устройство-приемник (682; 782),

при этом устройство-приемник (682; 782) выполнено с возможностью принимать аудиоданные (160; 260; 660; 760; 960) через цифровой мультимедийный интерфейс (670),

при этом устройство-приемник (682; 782) выполнено с возможностью декодировать принимаемые аудиоданные (160; 260; 660; 760; 960) для получения декодированных аудиоданных (662; 762), и

при этом устройство-приемник (682; 782) выполнено с возможностью выводить декодированные выходные данные (662; 762);

при этом устройство-приемник (682; 782) выполнено с возможностью сообщать информацию (216; 316; 616; 716) отдельного для устройства времени задержки, которая содержит информацию (216; 316; 617; 717) времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, и информацию (216; 316; 618; 718) времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, в ответ на запрос из устройства-источника (100; 200; 400),

при этом устройство-приемник (682; 782) выполнено с возможностью предоставлять долю (217; 317; 617; 717) в информации (214; 314) полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов,

при этом доля (617; 717) в информации (214; 314) полного времени аудиозадержки отличается от информации времени задержки, ассоциированной с воспроизведением с использованием второго аудиорежима, и

при этом доля (217; 317; 617; 717) в информации (214; 314) полного времени аудиозадержки, предоставленной посредством устройства-приемника (682; 782), равна информации времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима.

19. Устройство-приемник (682; 782) по п. 18,

при этом устройство-приемник (682; 782) выполнено с возможностью согласовывать время (218; 318; 418; 618; 718) задержки при декодировании или время задержки при воспроизведении, ассоциированное со вторым аудиорежимом, с устройством-источником (100; 200; 400).

20. Устройство-приемник (682; 782) по п. 19,

при этом устройство-приемник (682; 782) выполнено с возможностью:

предоставлять информацию охвата времен задержки, описывающую охват возможных значений (447; 747) времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник (100; 200; 400) или

предоставлять информацию списка времен задержки, описывающую одно или более из возможных значений времени задержки при декодировании или значений времени задержки при воспроизведении, в устройство-источник (100; 200; 400); и

при этом устройство-приемник (682; 782) выполнено с возможностью принимать сообщение (749) выбора времени задержки из устройства-источника (100; 200; 400) и задавать время (218; 318; 418; 618; 718) задержки при декодировании или время задержки при воспроизведении в ответ на сообщение (749) выбора времени задержки.

21. Устройство-приемник (292; 892; 992),

при этом устройство-приемник (292; 892; 992) выполнено с возможностью принимать видеоданные (165; 265; 865; 965) через цифровой мультимедийный интерфейс (870; 970),

при этом устройство-приемник (292; 892; 992) выполнено с возможностью подготавливать посредством рендеринга принимаемые видеоданные (165; 265; 865; 965);

при этом устройство-приемник (292; 892; 992) выполнено с возможностью сообщать информацию (809; 909) отдельного для устройства времени задержки, которая содержит:

статическую информацию (827; 927) времени задержки, представляющую долю устройства-приемника (292; 892; 992) в информации полного времени видеозадержки, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов; и

информацию (828; 928) времени задержки, представляющую фактическое время задержки рендеринга видеоданных (165; 265),

при этом статическая информация (827; 927) времени задержки, представляющая долю (827; 927) в информации полного времени видеозадержки, отличается от информации (828; 928) времени задержки, представляющей фактическое время задержки рендеринга видеоданных таким способом, при котором

статическая информация (827; 927) времени задержки, представляющая долю в информации полного времени видеозадержки, представляет время видеозадержки устройства-приемника при использовании стандартного видеорежима для рендеринга видеоданных и

информация (828; 928) времени задержки, представляющая фактическое время задержки рендеринга видеоданных, представляет время видеозадержки устройства-приемника для текущего используемого видеорежима для рендеринга видеоданных.

22. Устройство-приемник (292; 892; 992) по п. 21,

в котором информация (809; 909) отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника (292; 892; 992), также содержит:

информацию (917) времени задержки, ассоциированную с воспроизведением аудио с использованием первого аудиорежима; и/или

информацию (917) среднего времени задержки, ассоциированную с воспроизведением аудио с использованием множества различных режимов; и/или

информацию (919) времени задержки, ассоциированную с транзитной пересылкой аудиоинформации для второго аудиорежима.

23. Устройство-приемник (292; 892; 992) по одному из пп. 21, 22,

при этом устройство-приемник (292; 892; 992) выполнено с возможностью предоставлять долю (917) в информации (214; 314) полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов,

при этом доля (917) в информации (214; 314) полного времени аудиозадержки отличается от информации (919) времени задержки, ассоциированной с транзитной пересылкой аудиоинформации для второго аудиорежима.

24. Устройство-приемник (292; 892; 992) по одному из пп. 21-23,

при этом устройство-приемник (292; 892; 992) выполнено с возможностью предоставлять информацию (809; 909) отдельного для устройства времени задержки таким образом, что информация (809; 909) отдельного для устройства времени задержки, сообщаемая посредством устройства-приемника (292; 892; 992), содержит информацию (919) времени задержки, ассоциированную с перенаправлением аудиоданных (160; 260; 660; 760; 860; 960) из первого цифрового мультимедийного интерфейса (870) во второй цифровой мультимедийный интерфейс (970).

25. Способ (1000) для предоставления аудиоданных (160; 260; 660; 760; 960) и видеоданных (165; 265; 865; 965) по одному или более из цифровых мультимедийных интерфейсов (170; 270),

при этом способ (1000) содержит этап, на котором автоматически регулируют (1010) временное совмещение (150; 250; 350) между предоставлением аудиоданных и предоставлением видеоданных (165; 265; 865; 965) на основе информации (110; 210; 310) относительно времени задержки аудиотракта и на основе информации (120; 220; 320) относительно времени задержки видеотракта,

при этом способ (1000) содержит этап, на котором определяют информацию (120; 220; 320) относительно времени задержки видеотракта с использованием:

26. Способ (1100) для управления устройством-приемником (682; 782),

при этом способ содержит этап, на котором принимают (1110) аудиоданные (160; 260; 660; 760; 960) через цифровой мультимедийный интерфейс (170; 270),

при этом способ содержит этап, на котором декодируют (1120) принимаемые аудиоданные (160; 260; 660; 760; 960) для того, чтобы получать декодированные аудиоданные (662; 762), и

при этом способ содержит этап, на котором выводят (1230) декодированные выходные данные (662; 762);

при этом способ содержит этап, на котором сообщают (1240) информацию отдельного для устройства времени задержки, которая содержит информацию (217; 317; 617; 717) времени задержки, ассоциированную с воспроизведением с использованием первого аудиорежима, и информацию (218; 318; 618; 718) времени задержки, ассоциированную с воспроизведением с использованием второго аудиорежима, в ответ на запрос из устройства-источника (100; 200; 400),

при этом способ содержит этап, на котором согласуют время (218; 318; 418; 618; 718) задержки при декодировании или время задержки при воспроизведении, ассоциированное со вторым аудиорежимом, с устройством-источником (100; 200; 400),

при этом способ содержит этап, на котором предоставляют долю (217; 317; 617; 717) в информации (214; 314) полного времени аудиозадержки, описывающей полное время задержки аудиотракта для первого аудиорежима, т.е. унаследованного режима, или для не-MPEG-H режима, либо описывающей среднее полное время задержки аудиотракта для множества аудиорежимов,

при этом доля (217; 317; 617; 717) в информации (214; 314) полного времени аудиозадержки отличается от информации времени задержки, ассоциированной с воспроизведением с использованием второго аудиорежима, и

при этом доля (217; 317; 617; 717) в информации (214; 314) полного времени аудиозадержки, предоставленной посредством устройства-приемника (682; 782), равна информации (217; 317; 617; 717) времени задержки, ассоциированной с воспроизведением с использованием первого аудиорежима.

27. Способ (1200) для управления устройством-приемником (1200),

при этом способ содержит этап, на котором принимают (1210) видеоданные (165; 265; 865; 965) через цифровой мультимедийный интерфейс (170; 270),

при этом способ содержит этап, на котором подготавливают посредством рендеринга (1220) принимаемые видеоданные (165; 265; 865; 965),

при этом способ содержит этап, на котором сообщают (1230) информацию (809; 909) отдельного для устройства времени задержки, которая содержит:

статическую информацию (227; 327; 827; 927) времени задержки, представляющую долю устройства-приемника (292; 892; 992) в информации (224; 324) полного времени видеозадержки, описывающей полное время задержки видеотракта либо описывающей среднее полное время задержки видеотракта для множества видеорежимов; и

информацию (228; 328; 828; 928) времени задержки, представляющую фактическое время задержки рендеринга видеоданных (165; 265; 865; 965),

при этом статическая информация (827; 927) времени задержки, представляющая долю (827; 927) в информации полного времени аудиозадержки, отличается от информации времени задержки, представляющей фактическое время задержки рендеринга видеоданных таким способом, при котором

28. Цифровой носитель хранения данных, содержащий сохраненную на нем компьютерную программу для предписания компьютеру выполнять способ по любому из пп. 25-27.