RU2698779C2 - Устройство передачи, способ передачи, устройство приема и способ приема - Google Patents

Устройство передачи, способ передачи, устройство приема и способ приема Download PDF

Info

Publication number
RU2698779C2
RU2698779C2 RU2017106022A RU2017106022A RU2698779C2 RU 2698779 C2 RU2698779 C2 RU 2698779C2 RU 2017106022 A RU2017106022 A RU 2017106022A RU 2017106022 A RU2017106022 A RU 2017106022A RU 2698779 C2 RU2698779 C2 RU 2698779C2
Authority
RU
Russia
Prior art keywords
stream
audio
group
information
encoded data
Prior art date
Application number
RU2017106022A
Other languages
English (en)
Other versions
RU2017106022A3 (ru
RU2017106022A (ru
Inventor
Икуо ЦУКАГОСИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2017106022A publication Critical patent/RU2017106022A/ru
Publication of RU2017106022A3 publication Critical patent/RU2017106022A3/ru
Application granted granted Critical
Publication of RU2698779C2 publication Critical patent/RU2698779C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Television Systems (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Изобретение относится к средствам для приема и передачи аудиоданных. Технический результат заключается в повышении эффективности обработки на приемной стороне при передаче аудиоданных нескольких типов. Передают контейнер заданного формата, имеющий заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, из блока передачи. Вставляют в слой контейнера информацию об атрибутах, указывающую атрибут для каждого из множества элементов групповых закодированных данных. На этапе вставки информации дополнительно вставляют в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, причем информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы для идентификации каждого из множества элементов групповых закодированных данных, и идентификатором потока для идентификации каждого аудиопотока из заданного количества аудиопотоков. Дополнительно вставляют в слой контейнера информацию об идентификаторах потоков, указывающую идентификатор потока для каждого аудиопотока из заданного количества аудиопотоков. 6 н. и 7 з.п. ф-лы, 16 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение касается устройства передачи, способа передачи, устройства приема и способа приема и, в частности, касается устройства передачи и подобного для передачи аудиоданных нескольких типов.
Уровень техники
Обычно, в качестве пространственной (3D) аудиотехнологии, разрабатывают технологию для осуществления преобразования путем сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте, на основе метаданных (например, смотри патентный документ 1).
Список цитируемой литературы
Патентные документы
Патентный документ 1: Национальная публикация (открытой) заявки на японский патент № 2014-520491.
Раскрытие изобретения
Задачи, которые должно решить изобретение
Можно считать, что, когда закодированные данные объектов, состоящие из закодированных данных отсчетов и метаданных, передают вместе с закодированными данными каналов, таких как 5.1 каналы, 7.1 каналы и подобным, на приемной стороне может быть достигнуто воспроизведение звука с улучшенным ощущением правдоподобности.
Задача настоящего изобретения заключается в том, чтобы уменьшить нагрузку при обработке на приемной стороне при передаче аудиоданных нескольких типов.
Решение задач
Одна идея настоящей технологии заключена в устройстве передачи, которое содержит:
блок передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп; и
блок вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
В настоящей технологии блок передачи передает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Например, несколько элементов, являющихся закодированными данными групп, могут содержать или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера, с помощью блока вставки информации. Например, контейнер может являться транспортным потоком (MPEG-2 TS), который применяют в стандарте цифрового вещания. Кроме того, например, контейнер может являться контейнером MP4, который используется при доставке с помощью интернет и в подобных случаях, или может быть контейнером некоторого другого формата.
Как описано выше, в настоящей технологии, информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в заранее заданном количестве аудиопотоков, вставляют в слой контейнера. По этой причине, на приемной стороне, атрибут для каждого из нескольких элементов, являющихся закодированными данными групп может быть легко распознан до декодирования закодированных данных и могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, блок вставки информации может дополнительно вставлять в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. В этом случае, например, контейнер может быть MPEG2-TS и блок вставки информации может вставлять информацию об атрибутах и информацию соответствия потоку в цикл элементарного аудиопотока, соответствующий любому одному аудиопотоку из заранее заданного количества аудиопотоков, расположенных под таблицей структуры программы. Как описано выше, информацию соответствия потоку вставляют в слой контейнера, при этом аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и на приемной стороне может быть уменьшена нагрузка при обработке.
Например, информация соответствия потоку может быть информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором потока, нужным для идентификации потока для каждого аудиопотока из заранее заданного количества аудиопотоков. В этом случае, например, блок вставки информации может дополнительно вставлять в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков. Например, контейнер может быть MPEG2-TS и блок вставки информации может вставлять информацию об идентификаторах потоков в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков, расположенных под таблицей структуры программы.
Кроме того, например, информация соответствия потоку может являться информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором пакета, подлежащим прикреплению во время формирования пакетов для каждого аудиопотока из заранее заданного количества аудиопотоков. Кроме того, например, информация соответствия потоку может являться информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и типом информации, указывающим тип потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
Кроме того, другая идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
блок обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
В настоящей технологии блок приема принимает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Например, несколько элементов, являющихся закодированными данными групп, могут содержать или закодированные данные каналов или закодированные данные объектов или и те, и другие данные. Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера. Заранее заданное количество аудиопотоков, содержащихся в принятом контейнере, обрабатывают на основе информации об атрибутах, с помощью блока обработки.
Как описано выше, в настоящей технологии, обработку осуществляют для заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, что делают на основе информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и вставленной в слой контейнера. По этой причине, могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, может быть дополнительно вставлена в слой контейнера, и блок обработки может обработать заранее заданное количество аудиопотоков на основе информации соответствия потоку помимо информации об атрибутах. В этом случае, аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
Кроме того, в настоящей технологии, например, блок обработки может по выбору осуществлять обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку.
Кроме того, еще одна идея настоящего изобретения заключена в устройстве приема, которое содержит:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
блок обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
блок передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена в блоке обработки.
В настоящей технологии блок приема принимает контейнер заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп. Информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, вставляют в слой контейнера. Заранее заданные закодированные данные групп по выбору получают на основе информации об атрибутах из заранее заданного количества аудиопотоков, с помощью блока обработки, и изменяют конфигурацию аудиопотока, содержащего заранее заданные закодированные данные групп. Далее, аудиопоток с измененной конфигурацией передают на внешнее устройство с помощью блока передачи потока.
Как описано выше, в настоящей технологии, на основе информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и вставленной в слой контейнера, заранее заданные закодированные данные групп получают по выбору из заранее заданного количества аудиопотоков и изменяют конфигурацию аудиопотока, подлежащего передаче на внешнее устройство. Необходимые закодированные данные групп могут быть легко получены и может быть уменьшена нагрузка при обработке.
В данном случае, в настоящей технологии, например, информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, может быть дополнительно вставлена в слой контейнера, и блок обработки может по выбору получить заранее заданные закодированные данные групп из заранее заданного количества аудиопотоков на основе информации соответствия потоку, помимо информации об атрибутах. В этом случае, аудиопоток, содержащий заранее заданные закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
Результаты, достигаемые с помощью изобретения
В соответствии с настоящей технологией, нагрузка при обработке на приемной стороне может быть уменьшена при передаче аудиоданных нескольких типов. В данном случае, приведенные в этом описании полезные результаты представляют собой только примеры, и полезные результаты настоящей технологии не ограничены описанными результатами и могут содержать дополнительные результаты.
Краткое описание чертежей
Фиг. 1 - вид, показывающий структурную схему, иллюстрирующую пример конфигурации системы передачи/приема в качестве одного варианта осуществления изобретения;
фиг. 2 - вид, показывающий структуру аудиокадра (1024 отсчетов) в передаваемых данных 3D аудио;
фиг. 3 - вид, показывающий пример конфигурации передаваемых данных 3D аудио;
фиг. 4(a) и 4(b) - виды, схематично показывающие примеры конфигураций аудиокадра, соответственно, в случае, когда передаваемые данные 3D аудио передают в одном потоке, и в случае, когда передаваемые данные 3D аудио передают в несколько потоков;
фиг. 5 - вид, показывающий пример деления на группы, когда передачу осуществляют в три потока в примере конфигурации передаваемых данных 3D аудио;
фиг. 6 - вид, показывающий соответствие между группой и подпотоком в примере деления на группы (три деления) и подобное;
фиг. 7 - вид, показывающий пример деления на группы, в котором передачу осуществляют в два потока в примере конфигурации передаваемых данных 3D аудио;
фиг. 8 - вид, показывающий соответствие между группой и подпотоком в примере деления на группы (два деления) и подобное;
фиг. 9 - вид, показывающий структурную схему, иллюстрирующую пример конфигурации блока выработки потока, содержащегося в устройстве передачи службы;
фиг. 10 - вид, показывающий пример структуры дескриптора конфигурации 3D аудиопотока;
фиг. 11 - вид, показывающий подробности основной информации в примере структуры дескриптора конфигурации 3D аудиопотока;
фиг. 12(a) и 12(b) - виды, показывающие, соответственно, пример структуры дескриптора ID 3D аудиоподпотока и подробности основной информации в этом примере структуры;
фиг. 13 - вид, показывающий пример конфигурации транспортного потока;
фиг. 14 - вид, показывающий структурную схему примера конфигурации устройства приема службы;
фиг. 15 - вид, показывающий блок-схему, иллюстрирующую пример обработки по декодированию аудио, осуществляемой CPU в устройстве приема службы;
фиг. 16 - вид, показывающий структурную схему, иллюстрирующую другой пример конфигурации устройства приема службы.
Варианты осуществления изобретения
Далее приведено описание способа реализации изобретения (далее этот способ будет называться «вариантом осуществления изобретения»). В данном случае описание приведено в следующем порядке.
1. Вариант осуществления изобретения
2. Модификация
1. Вариант осуществления изобретения
Пример конфигурации системы передачи/приема
На фиг. 1 в качестве одного варианта осуществления изобретения показан пример конфигурации системы 10 передачи/приема. Эта система 10 передачи/приема выполнена из устройства 100 передачи службы и устройства 200 приема службы. Устройство 100 передачи службы передает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом. Транспортный поток TS содержит видеопоток и заранее заданное количество аудиопотоков, которые включают в себя несколько элементов, являющихся закодированными данными групп.
На фиг. 2 показана структура аудиокадра (1024 отсчетов) в передаваемых данных 3D аудио, соответствующая этому варианту осуществления изобретения. Аудиокадр состоит из нескольких пакетов (пакеты аудиопотоков mpeg) аудиопотоков MPEG. Каждый из пакетов аудиопотоков MPEG выполнен содержащим заголовок и полезную нагрузку.
Заголовок содержит такую информацию, как тип (ТипПакета) пакета, метка (МеткаПакета) пакета и длина (ДлинаПакета) пакета. Информация, определенная типом пакета из заголовка, расположена в полезной нагрузке. В информации полезной нагрузки существует информация «SYNC», соответствующая начальному коду синхронизации, информация «Кадр», которая является фактическими данными передаваемых данных 3D аудио, и информация «Config», указывающая конфигурацию информации «Кадр».
Информация «Кадр» содержит закодированные данные объектов и закодированные данные каналов, которые формируют передаваемые данные 3D аудио. Здесь закодированные данные каналов сформированы закодированными данными отсчетов, такими как элемент (SCE) одиночного канала, элемент (CPE) парного канала и низкочастотный элемент (LFE). Кроме того, закодированные данные объектов сформированы закодированными данными отсчетов элемента (SCE) одиночного канала и метаданными с целью осуществления преобразования с помощью сопоставления закодированных данных отсчетов и динамика, расположенного в произвольном месте. Метаданные содержатся в качестве элемента (Ext_element) расширения.
На фиг. 3 показан пример конфигурации передаваемых данных 3D аудио. Этот пример состоит из одного элемента, являющегося закодированными данными каналов, и двух элементов, являющихся закодированными данными объектов. Один элемент из закодированных данных каналов является закодированными данными (CD) каналов для каналов 5.1 и состоит из закодированных данных SCE1, CPE1.1, CPE1.2, LFE1 отсчетов.
Два элемента, являющиеся закодированными данными объектов, представляют собой закодированные данные объекта (объект «обеспечивающее эффект присутствия аудио»: IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (объект «речевой диалог»: SDO) «речевой диалог». Закодированные данные объекта «обеспечивающее эффект присутствия аудио» являются закодированными данными объектов и состоят из закодированных данных SCE2 отсчетов и метаданных EXE_El (метаданные объекта) 2 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте.
Закодированные данные объекта «речевой диалог» представляют собой закодированные данные объекта для разговорного языка. В этом примере закодированные данные объекта «речевой диалог» присутствуют, соответственно, для языка 1 и языка 2. Закодированные данные объекта «речевой диалог», соответствующие языку 1, состоят из закодированных данных SCE3 отсчетов и метаданных EXE_El (метаданные объекта) 3 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте. Закодированные данные объекта «речевой диалог», соответствующие языку 2, состоят из закодированных данных SCE4 отсчетов и метаданных EXE_El (метаданные объекта) 4 для осуществления преобразования с помощью сопоставления закодированных данных отсчетов с динамиком, расположенным в произвольном месте.
Закодированные данные отличают по типу с помощью идеи группы (Группа). В показанном примере, закодированные данные каналов для каналов 5.1 находятся в группе 1, закодированные данные объекта «обеспечивающее эффект присутствия аудио» находятся в группе 2, закодированные данные объекта «речевой диалог» для языка 1 находятся в группе 3 и закодированные данные объекта «речевой диалог» для языка 2 находятся в группе 4.
Кроме того, данные, которые могут быть выбраны между группами на приемной стороне, регистрируют в группе переключения (SW группа) и кодируют. Кроме того, группы могут быть связаны в некоторую заранее установленную группу (заранее установленная Группа) и могут быть воспроизведены в соответствии со случаем использования. В показанном примере, группа 1, группа 2 и группа 3 связаны в заранее установленную группу 1, а группа 1, группа 2 и группа 4 связаны в заранее установленную группу 2.
Возвращаясь к фиг. 1, устройство 100 передачи службы передает передаваемые данные 3D аудио, содержащие несколько элементов, являющихся закодированными данными групп, в одном потоке или в нескольких потоках, как описано выше.
На фиг. 4а схематично показан пример конфигурации аудиокадра, когда передачу осуществляют в одном потоке в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае один поток содержит закодированные данные (CD) каналов, закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог» вместе с информацией «SYNC» и информацией «Config».
На фиг. 4b схематично показан пример конфигурации аудиокадра, когда передачу осуществляют в несколько потоков (каждый поток называют «подпотоком», если это уместно), в данном случае в три потока, в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае подпоток 1 содержит закодированные данные (CD) каналов вместе с информацией «SYNC» и информацией «Config». Кроме того, подпоток 2 содержит закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» вместе с информацией «SYNC» и информацией «Config». Далее, подпоток 3 содержит закодированные данные объекта (SDO) «речевой диалог» вместе с информацией «SYNC» и информацией «Config».
На фиг. 5 показан пример деления на группы, когда передачу осуществляют в три потока в примере конфигурации передаваемых данных 3D аудио с фиг. 3. В этом случае подпоток 1 содержит закодированные данные (CD) каналов, которые отличают как группу 1. Кроме того, подпоток 2 содержит закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, подпоток 2 содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 3, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
На фиг. 6 показано соответствие между группой и подпотоком в примере деления на группы (три деления) с фиг. 5 и подобное. Здесь ID группы представляет собой идентификатор, нужный для идентификации группы. Атрибут указывает атрибут для каждых закодированных данных групп. ID группы переключения представляет собой идентификатор, нужный для идентификации группы переключения. ID заранее установленной группы представляет собой идентификатор, нужный для идентификации заранее установленной группы. ID подпотока представляет собой идентификатор, нужный для идентификации подпотока.
Показанное соответствие указывает, что закодированные данные, принадлежащие группе 1, представляют собой закодированные данные каналов, не формируют группу переключения и содержатся в подпотоке 1. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 2, представляют собой закодированные данные объекта (закодированные данные объекта «обеспечивающее эффект присутствия аудио») для обеспечивающего эффект присутствия звука, не формируют группу переключения и содержатся в подпотоке 2.
Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 3, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 1, формируют группу 1 переключения и содержатся в подпотоке 3. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 4, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 2, формируют группу 1 переключения и содержатся в подпотоке 3.
Кроме того, показанное соответствие указывает, что заранее установленная группа 1 содержит группу 1, группу 2 и группу 3. Далее, показанное соответствие указывает, что заранее установленная группа 2 содержит группу 1, группу 2 и группу 4.
На фиг. 7 показан пример деления на группы, в котором передачу осуществляют в два потока в примере конфигурации передаваемых данных 3D аудио. В этом случае, подпоток 1 содержит закодированные данные (CD) каналов, которые отличают как группу 1, и закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, подпоток 2 содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 2, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
На фиг. 8 показано соответствие между группой и подпотоком в примере деления на группы (два деления) с фиг. 7 и подобное. Показанное соответствие указывает, что закодированные данные, принадлежащие группе 1, представляют собой закодированные данные каналов, не формируют группу переключения и содержатся в подпотоке 1. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 2, представляют собой закодированные данные объекта (закодированные данные объекта «обеспечивающее эффект присутствия аудио») для обеспечивающего эффект присутствия звука, не формируют группу переключения и содержатся в подпотоке 1.
Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 3, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 1, формируют группу 1 переключения и содержатся в подпотоке 2. Кроме того, показанное соответствие указывает, что закодированные данные, принадлежащие группе 4, представляют собой закодированные данные объекта (закодированные данные объекта «речевой диалог») для разговорного языка 2, формируют группу 1 переключения и содержатся в подпотоке 2.
Кроме того, показанное соответствие указывает, что заранее установленная группа 1 содержит группу 1, группу 2 и группу 3. Далее, показанное соответствие указывает, что заранее установленная группа 2 содержит группу 1, группу 2 и группу 4.
Возвращаясь к фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио. Кроме того, устройство 100 передачи службы вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. В этом варианте осуществления изобретения информация соответствия потоку является, например, информацией, указывающей соответствие между ID группы и идентификатором потока.
Устройство 100 передачи службы вставляет эти информацию об атрибутах и информацию соответствия потоку в качестве дескриптора, например, в любой один аудиопоток из заранее заданного количества аудиопотоков, расположенных под таблицей (PMT) структуры программы, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку.
Кроме того, устройство 100 передачи службы вставляет в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков. Устройство 100 передачи службы вставляет информацию об идентификаторах потоков в качестве дескриптора, например, в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей (PMT) структуры программы.
Устройство 200 приема службы принимает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые формируют передаваемые данные 3D аудио, помимо видеопотока, как описано выше. Далее, в слой контейнера, вставляют информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, и далее вставляют информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
Устройство 200 приема службы по выбору осуществляет обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку, и получает вывод аудио из 3D аудио.
Блок выработки потока из устройства передачи службы
На фиг. 9 показан пример конфигурации блока 110 выработки потока, содержащегося в устройстве 100 передачи службы. Блок 110 выработки потока содержит устройство 112 кодирования видео, устройство 113 кодирования аудио и устройство 114 мультиплексирования. Здесь рассматривается пример, в котором передаваемые данные аудио состоят из одного элемента, являющегося закодированными данными каналов, и двух элементов, являющихся закодированными данными объектов, как показано на фиг. 3.
На устройство 112 кодирования видео поступают видеоданные SV, устройство 112 кодирования видео осуществляет кодирование видеоданных SV с целью выработки видеопотока (элементарный видеопоток). На устройство 113 кодирования аудио в качестве аудиоданных SA поступает данные каналов и данные объекта «обеспечивающее эффект присутствия аудио» и объекта «речевой диалог».
Устройство 113 кодирования аудио осуществляет кодирование аудиоданных SA и получает передаваемые данные 3D аудио. Передаваемые данные 3D аудио содержат закодированные данные (CD) каналов, закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог», как показано на фиг. 3. Далее устройство 113 кодирования аудио вырабатывает один или несколько аудиопотоков (элементарные аудиопотоки), содержащих несколько (в данном случае четыре) элементов, являющихся закодированными данными групп (смотри фиг. 4(a), 4(b)).
Устройство 114 мультиплексирования объединяет каждый вывод видеопотока из устройства 112 кодирования видео и вывод заранее заданного количества аудиопотоков из устройства 113 кодирования аудио, в пакет PES и далее в транспортный пакет с целью мультиплексирования потоков, и получает транспортный поток TS в качестве прошедшего мультиплексирование потока.
Кроме того, устройство 114 мультиплексирования вставляет информацию об атрибутах, указывающую атрибут для каждого из нескольких элементов, являющихся закодированными данными групп, и информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, под таблицу (PMT) структуры программы. Устройство 114 мультиплексирования вставляет эти элементы информации, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку, с помощью использования дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Подробно этот дескриптор будет описан ниже.
Кроме того, устройство 114 мультиплексирования вставляет информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков, под таблицу (PMT) структуры программы. Устройство 114 мультиплексирования вставляет информацию в цикл элементарного аудиопотока в соответствии с каждым аудиопотоком из заранее заданного количества аудиопотоков с использованием дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока. Подробно этот дескриптор будет описан ниже.
Далее кратко опишем работу блока 110 выработки потока, показанного на фиг. 9. Видеоданные подают на устройство 112 кодирования видео. В устройстве 112 кодирования видео осуществляют кодирование видеоданных SV и вырабатывают видеопоток, содержащий закодированные видеоданные. Видеопоток подают на устройство 114 мультиплексирования.
Аудиоданные SA подают на устройство 113 кодирования аудио. Аудиоданные SA содержат данные каналов и данные объекта «обеспечивающее эффект присутствия аудио» и объекта «речевой диалог». В устройстве 113 кодирования аудио осуществляют кодирование аудиоданных SA и получают передаваемые данные 3D аудио.
Передаваемые данные 3D аудио содержат закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио» и закодированные данные объекта (SDO) «речевой диалог», помимо закодированных данных (CD) каналов (смотри фиг. 3). Далее в устройстве 113 кодирования аудио вырабатывают один или несколько аудиопотоков, содержащих четыре элемента, являющихся закодированными данными групп (смотри фиг. 4(a), 4(b)).
Видеопоток, выработанный в устройстве 112 кодирования видео, подают в устройство 114 мультиплексирования. Кроме того, аудиопоток, выработанный в устройстве 113 кодирования аудио, подают в устройство 114 мультиплексирования. В устройстве 114 мультиплексирования поток, поданный из каждого устройства кодирования, объединяют в пакет PES и далее в транспортный пакет, подлежащий мультиплексированию, и в качестве прошедшего мультиплексирование потока, получают транспортный поток TS.
Кроме того, в устройстве 114 мультиплексирования дескриптор конфигурации 3D аудиопотока вставляют, например, в цикл элементарного аудиопотока, соответствующий самому базовому потоку. Дескриптор содержит информацию об атрибутах, указывающую атрибут каждого из нескольких элементов, являющихся закодированными данными групп, и информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
Кроме того, в устройстве 114 мультиплексирования дескриптор ID 3D аудиоподпотока вставляют в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков. Дескриптор содержит информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
Подробности дескриптора конфигурации 3D аудиопотока
На фиг. 10 показан пример структуры (синтаксис) дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Кроме того, на фиг. 11 показаны подробности основной информации (семантики) в примере структуры.
Поле «descriptor_tag» из восьми битов указывает тип дескриптора. Здесь указано, что дескриптор является дескриптором конфигурации 3D аудиопотока. Поле «descriptor_length» из восьми битов указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байтов.
Поле «NumOfGroups, N» из восьми битов указывает количество групп. Поле «NumOfPresetGroups, P» из восьми битов указывает количество заранее установленных групп. Поле «groupID» из восьми битов, поле «attribute_of_groupID» из восьми битов, поле «SwitchGroupID» из восьми битов и поле «audio_substreamID» повторяются количество раз, равное количеству групп.
Поле «groupID» указывает идентификатор группы. Поле «attribute_of_groupID» указывает атрибут закодированных данных групп. Поле «SwitchGroupID» является идентификатором, указывающим группу переключения, которой принадлежит группа. «0» указывает, что группа не принадлежит никакой группе переключения. Значение, отличное от «0», указывает группу переключения, которой должна принадлежать группа. Поле «audio_substreamID» является идентификатором, указывающим аудиоподпоток, содержащий группу.
Кроме того, поле «presetGroupID» из восьми битов и поле «NumOfGroups_in_preset, R» из восьми битов повторяются количество раз, равное количеству заранее установленных групп. Поле «presetGroupID» является идентификатором, указывающим связку, с помощью которой заранее устанавливается группа. Поле «NumOfGroups_in_preset, R» указывает количество групп, принадлежащих заранее установленной группе. Далее, для каждой заранее установленной группы поле «groupID» из восьми битов повторяется количество раз, равное количеству групп, принадлежащих заранее установленной группе, и указывает группу, принадлежащую заранее установленной группе. Этот дескриптор может быть расположен под расширенным дескриптором.
Подробности дескриптора ID 3D аудиоподпотока
На фиг. 12а показан пример структуры (синтаксис) дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока. Кроме того, на фиг. 12(b) показаны подробности основной информации (семантики) в примере структуры.
Поле «descriptor_tag» из восьми битов указывает тип дескриптора. Здесь указано, что дескриптор является дескриптором ID 3D аудиоподпотока. Поле «descriptor_length» из восьми битов указывает длину (размер) дескриптора и в качестве длины дескриптора указывает количество последовательных байтов. Поле «audio_substreamID» из восьми битов указывает идентификатор аудиоподпотока. Этот дескриптор может быть расположен под расширенным дескриптором.
Конфигурация транспортного потока TS
На фиг. 13 показан пример конфигурации транспортного потока TS. Пример конфигурации соответствует случаю, когда передачу осуществляют в два потока передаваемых данных 3D аудио (смотри фиг. 7). В примере конфигурации присутствует пакет «видео PES» PES видеопотока, обозначенный через PID1. Кроме того, в примере конфигурации присутствует два пакета «аудио PES» PES аудиопотока (аудиоподпоток), которые, соответственно, обозначены через PID2, PID3. Пакет PES состоит из заголовка (PES_header) PES и полезной нагрузки (PES_payload) PES. В заголовок PES вставлены метки DTS, PTS времени. Метки DTS, PTS времени из PID2 и PID3 прикреплены надлежащим образом, так что эти метки времени соответствуют друг другу во время мультиплексирования, при этом их синхронизация может быть обеспечена для всей системы.
Здесь пакет «аудио PES» PES аудиопотока, обозначенный через PID2, содержит закодированные данные (CD) каналов, которые отличают как группу 1, и закодированные данные объекта (IAO) «обеспечивающее эффект присутствия аудио», которые отличают как группу 2. Кроме того, пакет «аудио PES» PES аудиопотока, обозначенный через PID3, содержит закодированные данные объекта (SDO) «речевой диалог» для языка 1, которые отличают как группу 3, и закодированные данные объекта (SDO) «речевой диалог» для языка 2, которые отличают как группу 4.
Кроме того, транспортный поток TS содержит таблицу (PMT) структуры программы в качестве зависимой от программы информации (PSI). PSI является информацией, указывающей программу, которой принадлежит каждый элементарный поток, содержащийся в транспортном потоке. В PMT присутствует цикл (Program_loop) программы, описывающий информацию, касающуюся всей программы.
Кроме того, в PMT существует цикл элементарного потока, содержащий информацию, касающуюся каждого элементарного потока. В примере конфигурации, присутствует цикл (цикл ES видео) элементарного видеопотока, соответствующий видеопотоку, и присутствует цикл (цикл ES аудио) элементарного аудиопотока, соответствующий, соответственно, двум аудиопотокам.
В цикле (цикл ES видео) элементарного видеопотока расположена такая информация, как тип потока и PID (идентификатор пакета), соответствующая каждому элементарному видеопотоку, а также расположен дескриптор, описывающий информацию, касающуюся элементарного видеопотока. Значение «Stream_type» видеопотока установлено равным «0x24» и информация PID указывает PID1, приписанный пакету «видео PES» PES видеопотока, как описано выше. HEVC дескриптор расположен как один из дескрипторов.
Кроме того, в цикле (цикл ES аудио) элементарного аудиопотока расположена такая информация, как тип потока и PID (идентификатор пакета), соответствующая каждому элементарному аудиопотоку, а также расположен дескриптор, описывающий информацию, касающуюся элементарного аудиопотока. Значение «Stream_type» аудиопотока установлено равным «0x2С» и информация PID указывает PID2, приписанный пакету «аудио PES» PES аудиопотока, как описано выше.
В цикле (цикл ES аудио) элементарного аудиопотока, который соответствует аудиопотоку, обозначенному через PID2, расположены оба описанных выше дескриптора: как дескриптор конфигурации 3D аудиопотока, так и дескриптор ID 3D аудиоподпотока. Кроме того, в цикле (цикл ES аудио) элементарного аудиопотока, который соответствует аудиопотоку, обозначенному через PID3, расположен только описанный выше дескриптор ID 3D аудиоподпотока.
Пример конфигурации устройства приема службы
На фиг. 14 показан пример конфигурации устройства 200 приема службы. Устройство 200 приема службы содержит блок 201 приема, устройство 202 демультиплексирования, устройство 203 декодирования видео, схему 204 обработки видео, схему 205 привода панели и панель 206 отображения. Кроме того, устройство 200 приема службы содержит буферы 211-1 - 211-N мультиплексирования, устройство 212 объединения, устройство 213 декодирования 3D аудио, схема 214 обработки вывода аудио и систему 215 динамиков. Кроме того, устройство 200 приема службы содержит CPU 221, флеш-ROM 222, DRAM 223, внутреннюю шину 224, блок 225 приема для дистанционного управления и устройство 226 передачи для дистанционного управления.
CPU 221 управляет работой каждого блока устройства 200 приема службы. Во флеш-ROM 222 хранится программное обеспечение управления и данные. DRAM 223 формирует рабочую область для CPU 221. CPU 221 разворачивает программное обеспечение и данные, считанные из флеш-ROM 222, в DRAM 223 и запускает программное обеспечение с целью управления каждым блоком устройства 200 приема службы.
Блок 225 приема для дистанционного управления принимает сигнал дистанционного управления (код дистанционного управления), переданный из устройства 226 передачи для дистанционного управления, и подает сигнал на CPU 221. CPU 221 управляет каждым блоком устройства 200 приема службы на основе кода дистанционного управления. CPU 221, флеш-ROM 222 и DRAM 223 соединены друг с другом с помощью внутренней шины 224.
Блок 201 приема принимает транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, помимо видеопотока.
Устройство 202 демультиплексирования извлекает пакет видеопотока из транспортного потока TS и передает пакет на устройство 203 декодирования видео. Устройство 203 декодирования видео изменяет конфигурацию видеопотока из пакета видео, извлеченного устройством 202 демультиплексирования, и осуществляет обработку по декодированию с целью получения несжатых видеоданных.
Схема 204 обработки видео осуществляет обработку по масштабированию, регулировке качества изображения и подобное с видеоданными, полученными устройством 203 декодирования видео, и получает видеоданные для отображения. Схема 205 привода панели приводит в действие панель 206 отображения на основе данных изображения для отображения, которые получены в схеме 204 обработки видео. Блок 206 отображения сформирован, например, с помощью жидкокристаллического дисплея (LCD), органического электролюминесцентного (EL) дисплея.
Кроме того, устройство 202 демультиплексирования извлекает из транспортного потока TS такую информацию, как различные дескрипторы, и передает эту информацию на CPU 221. Различные дескрипторы включают в себя описанные выше дескриптор (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока и дескриптор (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока (смотри фиг. 13).
CPU 221 распознает аудиопоток, содержащий закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), на основе информации об атрибутах, указывающей атрибут для каждого элемента, являющегося закодированными данными групп, информации связи потоков, указывающей аудиопоток (подпоток), содержащий каждую группу, и на основе подобной информации, которая содержится в этих дескрипторах.
Кроме того, устройство 202 демультиплексирования по выбору извлекает с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Буферы 211-1 - 211-N мультиплексирования, соответственно, собирают аудиопотоки, извлеченные устройством 202 демультиплексирования. Здесь количество N буферов 211-1 - 211-N мультиплексирования является необходимым и достаточным числом и равным используемому количеству аудиопотоков, извлеченных устройством 202 демультиплексирования, во время фактической работы.
Устройство 212 объединения считывает аудиопоток для каждого аудиокадра из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, извлеченные устройством 202 демультиплексирования, из буферов 211-1 - 211-N мультиплексирования, и подает аудиопоток на устройство 213 декодирования 3D аудио в качестве закодированных данных групп, содержащих атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя).
Устройство 213 декодирования 3D аудио осуществляет обработку по декодированию закодированных данных, поданных из устройства 212 объединения, и получает аудиоданные для приведения в действие каждого динамика системы 215 динамиков. Здесь можно рассмотреть три следующих случая: случай, в котором закодированные данные, подлежащие обработке по декодированию, содержат только закодированные данные каналов, случай, в котором закодированные данные содержат только закодированные данные объектов, и еще один случай, в котором закодированные данные содержат как закодированные данные каналов, так и закодированные данные объектов.
При декодировании закодированных данных каналов, устройство 213 декодирования 3D аудио осуществляет обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получает аудиоданные для приведения в действие динамика. Кроме того, при декодировании закодированных данных объектов, устройство 213 декодирования 3D аудио вычисляет преобразование для динамиков (соотношение частей для каждого динамика) на основе информации объектов (метаданные) и смешивает аудиоданные объектов с аудиоданными с целью приведения в действие каждого динамика в соответствии с результатами вычислений.
Схема 214 обработки вывода аудио осуществляет необходимую обработку, такую как цифро-аналоговое преобразование и усиление, аудиоданных, полученных устройством 213 декодирования 3D аудио, с целью приведения в действие каждого динамика, и подает аудиоданные на систему 215 динамиков. Система 215 динамиков содержит несколько динамиков с несколькими каналами, например, 2 каналами, 5.1 каналами, 7.1 каналами и 22.2 каналами.
Далее кратко опишем работу устройства 200 приема службы, показанного на фиг. 14. В блоке 201 приема принимают транспортный поток TS, переносимый радиовещательной волной или сетевым пакетом и переданный от устройства 100 передачи службы. Транспортный поток TS содержит заранее заданное количество аудиопотоков, включающих в себя несколько элементов, являющихся закодированными данными групп, которые содержатся в передаваемых данных 3D аудио, помимо видеопотока. Этот транспортный поток TS подают на устройство 202 демультиплексирования.
В устройстве 202 демультиплексирования пакет видеопотока извлекают из транспортного потока TS и подают в устройство 203 декодирования видео. В устройстве 203 декодирования видео изменяют конфигурацию видеопотока из пакета видео, извлеченного устройством 202 демультиплексирования, и осуществляют обработку по декодированию и получают несжатые видеоданные. Видеоданные подают на схему 204 обработки видео.
В схеме 204 обработки видео осуществляют обработку по масштабированию, регулировке качества изображения и подобное с видеоданными, полученными устройством 203 декодирования видео, и получают видеоданные для отображения. Видеоданные для отображения подают на схему 205 привода панели. В схеме 205 привода панели на основе видеоданных для отображения приводят в действие панель 206 отображения. Таким образом, изображение отображают на панели 206 отображения в соответствии с видеоданными для отображения.
Кроме того, в устройстве 202 демультиплексирования из транспортного потока TS извлекают такую информацию, как различные дескрипторы, и передают эту информацию на CPU 221. Различные дескрипторы включают в себя дескриптор конфигурации 3D аудиопотока и дескриптор ID 3D аудиоподпотока. В CPU 221 распознают аудиопоток (подпоток), содержащий закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя (пользователя), на основе информации об атрибутах, информации связи потоков и подобной информации, которая содержится в этих дескрипторах.
Кроме того, в устройстве 202 демультиплексирования по выбору извлекают с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Аудиопотоки, извлеченные с помощью устройства 202 демультиплексирования, соответственно, направляют в соответствующие буферы мультиплексирования из буферов 211-1 - 211-N мультиплексирования. В устройстве 212 объединения аудиопоток считывают для каждого аудиокадра, из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, и подают аудиопоток на устройство 213 декодирования 3D аудио в качестве закодированных данных групп, содержащих атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя.
В устройстве 213 декодирования 3D аудио осуществляют обработку по декодированию закодированных данных, поданных из устройства 212 объединения, и получают аудиоданные для приведения в действие каждого динамика системы 215 динамиков.
Здесь, при декодировании закодированных данных каналов, осуществляют обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получают аудиоданные для приведения в действие каждого динамика. Кроме того, при декодировании закодированных данных объектов, вычисляют преобразование для динамиков (соотношение частей для каждого динамика) на основе информации объектов (метаданные) и смешивают аудиоданные объектов с аудиоданными с целью приведения в действие каждого динамика в соответствии с результатами вычислений.
Аудиоданные для приведения в действие каждого динамика, полученные в устройстве 213 декодирования 3D аудио, подают на схему 214 обработки вывода аудио. В схеме 214 обработки вывода аудио с целью приведения в действие каждого динамика осуществляют необходимую обработку аудиоданных, такую как цифро-аналоговое преобразование и усиление. Далее аудиоданные после обработки подают на систему 215 динамиков. Таким образом, вывод аудио из системы 215 динамиков получают в соответствии с изображением на панели 206 отображения.
На фиг. 15 показан пример обработки по декодированию аудио, которую осуществляет CPU 221 в устройстве 200 приема службы, которое показано на фиг. 14. CPU 221 начинает обработку этапом ST1. Далее на этапе ST2 CPU 221 определяет конфигурацию динамиков устройства приема, то есть конфигурацию динамиков системы 215 динамиков. Затем, на этапе ST3 CPU 221 получает касающуюся вывода аудио информацию о выборе, который осуществляет зритель (пользователь).
Далее, на этапе ST4 CPU 221 считывает «groupID», «attribute_of_GroupID», «switchGroupID», «presetGroupID» и «Audio_substreamID» дескриптора (3Daudio_stream_config_descriptor) конфигурации 3D аудиопотока. Далее на этапе ST5 CPU 221 распознает ID (subStreamID) подпотока аудиопотока (подпоток), которому принадлежит группа, содержащая атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя.
Далее, на этапе ST6 CPU 221 сопоставляет распознанный ID (subStreamID) потока с ID (subStreamID) потока из дескриптора (3Daudio_substreamID_descriptor) ID 3D аудиоподпотока каждого аудиопотока (подпотока), и выбирает совпавший с помощью фильтра PID и берет один в каждом буфере мультиплексирования. Далее, на этапе ST7 CPU 221 считывает аудиопоток (подпоток) для каждого аудиокадра из каждого буфера мультиплексирования и подает необходимые закодированные данные групп на устройство 213 декодирования 3D аудио.
Далее, на этапе ST8 CPU 221 определяет, нужно ли декодировать закодированные данные объектов. На этапе ST9 при декодировании закодированных данных объектов, CPU 221 вычисляет преобразование для динамиков (соотношение частей для каждого динамика) с помощью азимута (информации об азимуте) и подъема (информации о подъеме) на основе информации объектов (метаданные). После этого CPU 221 переходит на этап ST10. В данном случае, когда на этапе ST8 не декодируют закодированные данные объектов, CPU 221 сразу переходит на этап ST10.
На этапе ST10 CPU 221 определяет, нужно ли декодировать закодированные данные каналов. На этапе ST11 при декодировании закодированных данных каналов, CPU 221 осуществляет обработку по уменьшению и увеличению числа каналов для конфигурации динамиков из системы 215 динамиков и получает аудиоданные для приведения в действие каждого динамика. После этого CPU 221 переходит на этап ST12. В данном случае, когда на этапе ST10 не декодируют закодированные данные каналов, CPU 221 сразу переходит на этап ST12.
На этапе ST12 CPU 221 смешивает аудиоданные объектов с аудиоданными для приведения в действие каждого динамика в соответствии с результатом вычисления на этапе ST9 при декодировании закодированных данных объектов и далее осуществляет управление динамическим диапазоном. После этого CPU 221 заканчивает обработку на этапе ST13. В данном случае, когда не декодируют закодированные данные объектов, CPU 221 пропускает этап ST12.
Как описано выше, в системе 10 передачи/приема, показанной на фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию об атрибутах, указывающую атрибут каждого из нескольких элементов, являющихся закодированными данными групп, которые содержатся в заранее заданном количестве аудиопотоков. По этой причине, на приемной стороне, атрибут для каждого из нескольких элементов, являющихся закодированными данными групп может быть легко распознан до декодирования закодированных данных и могут быть по выбору декодированы только необходимые, используемые в дальнейшем, закодированные данные групп и может быть уменьшена нагрузка при обработке.
Кроме того, в системе 10 передачи/приема, показанной на фиг. 1, устройство 100 передачи службы вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп. По этом причине, на приемной стороне аудиопоток, содержащий необходимые закодированные данные групп, может быть легко распознан и может быть уменьшена нагрузка при обработке.
2. Модификация
В данном случае, в описанном выше варианте осуществления изобретения устройство 200 приема службы выполнено с возможностью извлечения по выбору аудиопотока, содержащего закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из нескольких аудиопотоков (подпотоков), переданных от устройства 100 передачи службы, и с возможностью осуществления обработки по декодированию с целью получения аудиоданных для приведения в действие заранее заданного количества динамиков.
Тем не менее, также можно рассматривать, в качестве устройства приема службы, извлечение по выбору одного или нескольких аудиопотоков, содержащих закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, из нескольких аудиопотоков (подпотоков), переданных от устройства 100 передачи службы, изменение конфигурации аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, и доставку аудиопотока с измененной конфигурацией на устройство (в том числе DLNA устройство), соединенное с локальной сетью.
На фиг. 16 показан пример конфигурации устройства 200А приема службы для доставки аудиопотока с измененной конфигурацией на устройство, соединенное с локальной сетью, как описано выше. На фиг. 16 компоненты, эквивалентные компонентам, показанным на фиг. 14, обозначены теми же ссылочными позициями, что и на фиг. 14, и в настоящем документе их подробное описание не повторяется.
В устройстве 202 демультиплексирования по выбору извлекают с помощью фильтра PID один или несколько пакетов аудиопотоков, содержащих закодированные данные групп, которые включают в себя атрибут, соответствующий конфигурации динамиков и информацию о выборе зрителя, из заранее заданного количества аудиопотоков, содержащихся в транспортном потоке TS, что делают под управлением CPU 221.
Аудиопотоки, извлеченные с помощью устройства 202 демультиплексирования, соответственно, направляют в соответствующие буферы мультиплексирования из буферов 211-1 - 211-N мультиплексирования. В устройстве 212 объединения аудиопоток считывают для каждого аудиокадра из каждого буфера мультиплексирования, соответственно, собирая аудиопотоки, и подают на устройство 231 изменения конфигурации потока.
В устройстве 231 изменения конфигурации потока по выбору получают заранее заданные закодированные данные групп, содержащие атрибут, соответствующий конфигурации динамиков и информации о выборе зрителя, и изменяют конфигурацию аудиопотока, содержащего заранее заданные закодированные данные групп. Аудиопоток с измененной конфигурацией подают на устройство 232 доставки. Далее осуществляют доставку (передачу) от интерфейса 232 доставки до устройства 300, соединенного с локальной сетью.
Соединение с локальной сетью содержит Ethernet соединение и беспроводное соединение, такое как «WiFi» или «Bluetooth». В данном случае, «WiFi» и «Bluetooth» являются зарегистрированными торговыми марками.
Кроме того, устройство 300 содержит динамик объемного звучания, второй дисплей и устройство вывода аудио, прикрепленное к сетевому конечному устройству. Устройство 300, принимающее доставку аудиопотока с измененной конфигурацией, осуществляет обработку по декодированию, аналогичную обработке для устройства 213 декодирования 3D аудио в устройстве 200 приема службы с фиг. 14, и получает аудиоданные для приведения в действие заранее заданного количества динамиков.
Кроме того, в качестве устройства приема службы, можно рассмотреть конфигурацию, в которой описанный выше аудиопоток с измененной конфигурацией передают на устройство, соединенное с помощью цифрового интерфейса, такого как «Мультимедийный интерфейс (HDMI) высокой четкости», «Мобильный канал (MHL) высокой четкости» или стандарт «DisplayPort». В данном случае, «HDMI» и «MHL» являются зарегистрированными торговыми марками.
Кроме того, в описанном выше варианте осуществления изобретения информация соответствия потоку, вставленная в слой контейнера, является информацией, указывающей соответствие между ID группы и ID подпотока. То есть, ID подпотока используют для связывания друг с другом группы и аудиопотока (подпотока). Тем не менее, также может быть рассмотрено использование идентификатора (ID пакета: PID) пакета или тип потока (stream_type) для связывания друг с другом группы и аудиопотока (подпотока). В данном случае, когда используют тип потока, необходимо изменять тип потока каждого аудиопотока (подпотока).
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором информацию об атрибутах для каждого элемента, являющегося закодированными данными групп, передают с помощью поля «attribute_of_groupID» (смотри фиг. 10). Тем не менее, настоящая технология содержит способ, в котором тип (атрибут) закодированных данных может быть распознан, когда распознан конкретный ID группы, что делают с помощью определения специального значения для самого ID (GroupID) группы между устройством передачи и устройством приема. В этом случае ID группы функционирует как идентификатор группы и также функционирует как информация об атрибутах для закодированных данных групп, так что поле «attribute_of_groupID» не является обязательным.
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором несколько элементов, являющихся закодированными данными групп, содержат как закодированные данные каналов, так и закодированные данные объектов (смотри фиг. 3). Тем не менее, настоящая технология может быть аналогично применена также в случае, в котором несколько элементов, являющихся закодированными данными групп, содержат только закодированные данные каналов или содержат только закодированные данные объектов.
Кроме того, в описанном выше варианте осуществления изобретения показан пример, в котором контейнер является транспортным потоком (MPEG-2 TS). Тем не менее, настоящая технология может быть аналогично применена в системе, в которой доставку осуществляют с помощью контейнера MP4 или другого формата. Примером служит система доставки потока на основе MPEG-DASH или система передачи/приема, работающая с потоком передачи структуры транспортировки (MMT) медиаданных MPEG.
В частности, настоящая технология также может быть реализована с помощью описанных ниже структур.
(1) Устройство передачи, которое содержит:
блок передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп; и
блок вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
(2) Устройство передачи по (1), в котором блок вставки информации дополнительно вставляет в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп.
(3) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором потока, нужным для идентификации каждого аудиопотока из заранее заданного количества аудиопотоков.
(4) Устройство передачи по (3), в котором блок вставки информации дополнительно вставляет в слой контейнера информацию об идентификаторах потоков, которая указывает идентификатор потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
(5) Устройство передачи по (4), в котором
контейнер является MPEG2-TS, и
блок вставки информации вставляет информацию об идентификаторах потоков в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей структуры программы.
(6) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и идентификатором пакета, подлежащим прикреплению во время формирования пакетов для каждого аудиопотока из заранее заданного количества аудиопотоков.
(7) Устройство передачи по (2), в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы, нужным для идентификации каждого из нескольких элементов, являющихся закодированными данными групп, и типом информации, указывающим тип потока для каждого аудиопотока из заранее заданного количества аудиопотоков.
(8) Устройство передачи по любому из (2) - (7), в котором
контейнер является MPEG2-TS, и
блок вставки информации вставляет информацию об атрибутах и информацию соответствия потоку в цикл элементарного аудиопотока, соответствующий любому одному аудиопотоку из заранее заданного количества аудиопотоков и расположенный под таблицей структуры программы.
(9) Устройство передачи по любому из (1) - (8), в котором несколько элементов, являющихся закодированными данными групп, содержат или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
(10) Способ передачи, включающий в себя:
этап передачи для передачи контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, из блока передачи; и
этап вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп.
(11) Устройство приема, содержащее:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
блок обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
(12) Устройство приема по (11), в котором
информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, дополнительно вставлена в слой контейнера, и
блок обработки обрабатывает заранее заданное количество аудиопотоков, на основе информации соответствия потоку, помимо информации об атрибутах.
(13) Устройство приема по (12), в котором блок обработки по выбору осуществляет обработку по декодированию аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, что делают на основе информации об атрибутах и информации соответствия потоку.
(14) Устройство приема по любому из (11) - (13), в котором несколько элементов, являющихся закодированными данными групп, содержат или закодированные данные каналов или закодированные данные объектов или и те, и другие данные.
(15) Способ приема, включающий в себя:
этап приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, с помощью блока приема, для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп; и
этап обработки для обработки заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах.
(16) Устройство приема, содержащее:
блок приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
блок обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
блок передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена в блоке обработки.
(17) Устройство приема по (16), в котором
информация соответствия потоку, указывающая аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп, дополнительно вставлена в слой контейнера, и
блок обработки по выбору получает закодированные данные заранее заданной группы из заранее заданного количества аудиопотоков, на основе информации соответствия потоку, помимо информации об атрибутах.
(18) Способ приема, включающий в себя:
этап приема для приема контейнера заранее заданного формата с заранее заданным количеством аудиопотоков, содержащих несколько элементов, являющихся закодированными данными групп, с помощью блока приема, для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из нескольких элементов, являющихся закодированными данными групп;
этап обработки для получения по выбору заранее заданных закодированных данных групп на основе информации об атрибутах из заранее заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего заранее заданные закодированные данные групп; и
этап передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена во время этапа обработки.
Основной признак настоящей технологии заключается в том, что нагрузка при обработке на приемной стороне может быть уменьшена благодаря вставке в слой контейнера информации об атрибутах, указывающей атрибут каждого из нескольких элементов, являющихся закодированными данными групп, содержащихся в заранее заданном количестве аудиопотоков, и информации соответствия потоку, указывающей аудиопоток, содержащий каждый из нескольких элементов, являющихся закодированными данными групп (смотри фиг. 13).
Список ссылочных позиций
10 Система передачи/приема
100 Устройство передачи службы
110 Блок выработки потока
112 Устройство кодирования видео
113 Устройство кодирования аудио
114 Устройство мультиплексирования
200, 200A Устройство приема службы
201 Блок приема
202 Устройство демультиплексирования
203 Устройство декодирования видео
204 Схема обработки видео
205 Схема привода панели
206 Панель отображения
211-1 - 211-N Буфер мультиплексирования
212 Устройство объединения
213 Устройство декодирования 3D аудио
214 Схема обработки вывода аудио
215 Система динамиков
221 CPU
222 Флеш-ROM
223 DRAM
224 Внутренняя шина
225 Блок приема для дистанционного управления
226 Устройство передачи для дистанционного управления
231 Блок изменения конфигурации потока
232 Интерфейс доставки
300 Устройство

Claims (44)

1. Устройство передачи, содержащее:
блок передачи для передачи контейнера заданного формата, имеющего заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных; и
блок вставки информации для вставки в слой контейнера информации об атрибутах, указывающей атрибут для каждого из множества элементов групповых закодированных данных,
при этом блок вставки информации дополнительно выполнен с возможностью вставки в слой контейнера информации соответствия потоку, указывающей аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, причем информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы для идентификации каждого из множества элементов групповых закодированных данных, и идентификатором потока для идентификации каждого аудиопотока из заданного количества аудиопотоков, и
при этом блок вставки информации дополнительно выполнен с возможностью вставки в слой контейнера информации об идентификаторах потоков, указывающей идентификатор потока для каждого аудиопотока из заданного количества аудиопотоков.
2. Устройство передачи по п. 1, в котором
контейнер является MPEG2-TS и
блок вставки информации выполнен с возможностью вставки информации об идентификаторах потоков в цикл элементарного аудиопотока, соответствующий каждому аудиопотоку из заданного количества аудиопотоков, существующих под таблицей структуры программы.
3. Устройство передачи по п. 1, в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы для идентификации каждого из множества элементов групповых закодированных данных, и идентификатором пакета, подлежащим прикреплению во время формирования пакетов для каждого аудиопотока из заданного количества аудиопотоков.
4. Устройство передачи по п. 1, в котором информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы для идентификации каждого из множества элементов групповых закодированных данных, и информацией о типе, указывающей тип потока для каждого аудиопотока из заданного количества аудиопотоков.
5. Устройство передачи по п. 1, в котором
контейнер является MPEG2-TS и
блок вставки информации выполнен с возможностью вставки информации об атрибутах и информации соответствия потоку в цикл элементарного аудиопотока, соответствующий любому аудиопотоку из заданного количества аудиопотоков, существующих под таблицей структуры программы.
6. Устройство передачи по п. 1, в котором множество элементов групповых закодированных данных, содержат закодированные данные каналов и/или закодированные данные объектов.
7. Способ передачи, содержащий:
этап передачи, на котором передают контейнер заданного формата, имеющий заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, из блока передачи; и
этап вставки информации, на котором вставляют в слой контейнера информацию об атрибутах, указывающую атрибут для каждого из множества элементов групповых закодированных данных,
при этом на этапе вставки информации дополнительно вставляют в слой контейнера информацию соответствия потоку, указывающую аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, причем информация соответствия потоку является информацией, указывающей соответствие между идентификатором группы для идентификации каждого из множества элементов групповых закодированных данных, и идентификатором потока для идентификации каждого аудиопотока из заданного количества аудиопотоков, и
при этом на этапе вставки информации дополнительно вставляют в слой контейнера информацию об идентификаторах потоков, указывающей идентификатор потока для каждого аудиопотока из заданного количества аудиопотоков.
8. Устройство приема, содержащее:
блок приема для приема контейнера заданного формата, имеющего заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, причем в слой контейнера вставлена информация об атрибутах, указывающая атрибут каждого из множества элементов групповых закодированных данных; и
блок обработки для обработки заданного количества аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах,
при этом в слой контейнера дополнительно вставлена информация соответствия потоку, указывающая аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, при этом
блок обработки выполнен с возможностью обработки заданного количества аудиопотоков на основе информации соответствия потоку в дополнение к информации об атрибутах.
9. Устройство приема по п. 8, в котором
блок обработки выполнен с возможностью выборочной обработки декодирования аудиопотока, содержащего закодированные данные групп, включающие в себя атрибут, соответствующий конфигурации динамиков и информации о выборе пользователя, на основе информации об атрибутах и информации соответствия потоку.
10. Устройство приема по п. 8, в котором множество элементов групповых закодированных данных, содержат закодированные данные каналов и/или закодированные данные объектов.
11. Способ приема, содержащий:
этап приема, на котором принимают контейнер заданного формата, имеющий заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, с помощью блока приема, причем в слой контейнера вставлена информация об атрибутах, указывающая атрибут для каждого из множества элементов групповых закодированных данных; и
этап обработки, на котором обрабатывают заданное количество аудиопотоков, содержащихся в принятом контейнере, на основе информации об атрибутах,
при этом в слой контейнера дополнительно вставлена информация соответствия потоку, указывающая аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, при этом
на этапе обработки обрабатывают заданное количество аудиопотоков на основе информации соответствия потоку в дополнение к информации об атрибутах.
12. Устройство приема, содержащее:
блок приема для приема контейнера заданного формата, имеющего заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, причем в слой контейнера вставлена информация об атрибутах, указывающая атрибут каждого из множества элементов групповых закодированных данных;
блок обработки для выборочного получения заданного элемента групповых закодированных данных, на основе информации об атрибутах из заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего указанный элемент групповых закодированных данных; и
блок передачи потока для передачи на внешнее устройство аудиопотока, конфигурация которого изменена в блоке обработки,
при этом в слой контейнера дополнительно вставлена информация соответствия потоку, указывающая аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, при этом
блок обработки выполнен с возможностью выборочного получения заданного элемента групповых закодированных данных из заданного количества аудиопотоков на основе информации соответствия потоку в дополнение к информации об атрибутах.
13. Способ приема, содержащий:
этап приема, на котором принимают контейнер заданного формата, имеющий заданное количество аудиопотоков, содержащих множество элементов групповых закодированных данных, с помощью блока приема, причем в слой контейнера вставлена информация об атрибутах, указывающая атрибут для каждого из множества элементов групповых закодированных данных;
этап обработки, на котором выборочно получают заданный элемент групповых закодированных данных, на основе информации об атрибутах из заданного количества аудиопотоков, содержащихся в принятом контейнере, и изменения конфигурации аудиопотока, содержащего указанный элемент групповых закодированных данных; и
этап передачи потока, на котором передают на внешнее устройство аудиопоток, конфигурация которого изменена на этапе обработки,
при этом в слой контейнера дополнительно вставлена информация соответствия потоку, указывающая аудиопоток, содержащий каждый из множества элементов групповых закодированных данных, при этом
на этапе обработки выборочно получают заданный элемент групповых закодированных данных из заданного количества аудиопотоков на основе информации соответствия потоку в дополнение к информации об атрибутах.
RU2017106022A 2014-09-04 2015-08-31 Устройство передачи, способ передачи, устройство приема и способ приема RU2698779C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014180592 2014-09-04
JP2014-180592 2014-09-04
PCT/JP2015/074593 WO2016035731A1 (ja) 2014-09-04 2015-08-31 送信装置、送信方法、受信装置および受信方法

Publications (3)

Publication Number Publication Date
RU2017106022A RU2017106022A (ru) 2018-08-22
RU2017106022A3 RU2017106022A3 (ru) 2019-03-26
RU2698779C2 true RU2698779C2 (ru) 2019-08-29

Family

ID=55439793

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017106022A RU2698779C2 (ru) 2014-09-04 2015-08-31 Устройство передачи, способ передачи, устройство приема и способ приема

Country Status (6)

Country Link
US (2) US11670306B2 (ru)
EP (3) EP3196876B1 (ru)
JP (4) JP6724782B2 (ru)
CN (2) CN111951814A (ru)
RU (1) RU2698779C2 (ru)
WO (1) WO2016035731A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724782B2 (ja) * 2014-09-04 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106716524B (zh) 2014-09-30 2021-10-22 索尼公司 发送装置、发送方法、接收装置和接收方法
JP6699564B2 (ja) * 2015-02-10 2020-05-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10027994B2 (en) * 2016-03-23 2018-07-17 Dts, Inc. Interactive audio metadata handling
EP3664395B1 (en) * 2017-08-03 2023-07-19 Aptpod, Inc. Client device, data collection system, data transmission method, and program
GB202002900D0 (en) * 2020-02-28 2020-04-15 Nokia Technologies Oy Audio repersentation and associated rendering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199336A (ja) * 2001-10-05 2002-07-12 Toshiba Corp 静止画情報の管理システム
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2008199528A (ja) * 2007-02-15 2008-08-28 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
US20120030253A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Data generating device and data generating method, and data processing device and data processing method
EP2768225A1 (en) * 2011-10-13 2014-08-20 Sony Corporation Transmission device, transmission method, receiving device and receiving method
RU2678323C2 (ru) * 2014-03-18 2019-01-28 Конинклейке Филипс Н.В. Потоки данных элементов аудиовизуального контента

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP4393435B2 (ja) * 1998-11-04 2010-01-06 株式会社日立製作所 受信装置
JP2000181448A (ja) 1998-12-15 2000-06-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
US6885987B2 (en) * 2001-02-09 2005-04-26 Fastmobile, Inc. Method and apparatus for encoding and decoding pause information
AU2003274917A1 (en) 2002-08-21 2004-03-11 Disney Enterprises, Inc. Digital home movie library
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
US8483053B2 (en) 2004-02-06 2013-07-09 Sony Corporation Information processing device, information processing method, program, and data structure
EP1728251A1 (en) * 2004-03-17 2006-12-06 LG Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
US8131134B2 (en) * 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
KR100754197B1 (ko) * 2005-12-10 2007-09-03 삼성전자주식회사 디지털 오디오 방송（ｄａｂ）에서의 비디오 서비스 제공및 수신방법 및 그 장치
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP4622950B2 (ja) * 2006-07-26 2011-02-02 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置、撮像方法および撮像プログラム
WO2008011902A1 (de) * 2006-07-28 2008-01-31 Siemens Aktiengesellschaft Verfahren zum durchführen einer audiokonferenz, audiokonferenzeinrichtung und umschalteverfahren zwischen kodierern
CN1971710B (zh) * 2006-12-08 2010-09-29 中兴通讯股份有限公司 一种基于单芯片的多通道多语音编解码器的调度方法
EP2083585B1 (en) * 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
CN101572087B (zh) * 2008-04-30 2012-02-29 北京工业大学 嵌入式语音或音频信号编解码方法和装置
US8745502B2 (en) * 2008-05-28 2014-06-03 Snibbe Interactive, Inc. System and method for interfacing interactive systems with social networks and media playback devices
EP2146342A1 (en) * 2008-07-15 2010-01-20 LG Electronics Inc. A method and an apparatus for processing an audio signal
JP5258967B2 (ja) * 2008-07-15 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8588947B2 (en) * 2008-10-13 2013-11-19 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
US8768388B2 (en) 2009-04-09 2014-07-01 Alcatel Lucent Method and apparatus for UE reachability subscription/notification to facilitate improved message delivery
RU2409897C1 (ru) * 2009-05-18 2011-01-20 Самсунг Электроникс Ко., Лтд Кодер, передающее устройство, система передачи и способ кодирования информационных объектов
CA2907353C (en) * 2009-10-20 2018-02-06 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a detection of a group of previously-decoded spectral values
KR101691836B1 (ko) * 2009-10-25 2017-01-02 엘지전자 주식회사 프로그램 정보 처리 방법 및 방송 수신기
US9456234B2 (en) * 2010-02-23 2016-09-27 Lg Electronics Inc. Broadcasting signal transmission device, broadcasting signal reception device, and method for transmitting/receiving broadcasting signal using same
EP3010161A1 (en) * 2010-04-01 2016-04-20 LG Electronics Inc. Multiple physical layer pipes (plb) with mutual information
JP5594002B2 (ja) 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
CN102222505B (zh) * 2010-04-13 2012-12-19 中兴通讯股份有限公司 可分层音频编解码方法系统及瞬态信号可分层编解码方法
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
ES2909532T3 (es) 2011-07-01 2022-05-06 Dolby Laboratories Licensing Corp Aparato y método para renderizar objetos de audio
CN106851239B (zh) * 2012-02-02 2020-04-03 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
JPWO2013161442A1 (ja) * 2012-04-24 2015-12-24 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2014007096A1 (ja) * 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
US9860458B2 (en) * 2013-06-19 2018-01-02 Electronics And Telecommunications Research Institute Method, apparatus, and system for switching transport stream
US10097294B2 (en) * 2014-01-03 2018-10-09 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
EP3522554B1 (en) * 2014-05-28 2020-12-02 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Data processor and transport of user control data to audio decoders and renderers
JP6724782B2 (ja) * 2014-09-04 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199336A (ja) * 2001-10-05 2002-07-12 Toshiba Corp 静止画情報の管理システム
WO2004066303A1 (ja) * 2003-01-20 2004-08-05 Pioneer Corporation 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP2008199528A (ja) * 2007-02-15 2008-08-28 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
US20120030253A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Data generating device and data generating method, and data processing device and data processing method
EP2768225A1 (en) * 2011-10-13 2014-08-20 Sony Corporation Transmission device, transmission method, receiving device and receiving method
RU2678323C2 (ru) * 2014-03-18 2019-01-28 Конинклейке Филипс Н.В. Потоки данных элементов аудиовизуального контента

Also Published As

Publication number Publication date
EP3196876A4 (en) 2018-03-21
JP2021177638A (ja) 2021-11-11
EP3799044B1 (en) 2023-12-20
JP7238925B2 (ja) 2023-03-14
JP2020182221A (ja) 2020-11-05
JP7567953B2 (ja) 2024-10-16
WO2016035731A1 (ja) 2016-03-10
EP3196876A1 (en) 2017-07-26
CN111951814A (zh) 2020-11-17
EP3799044A1 (en) 2021-03-31
US20170249944A1 (en) 2017-08-31
CN106796793A (zh) 2017-05-31
US20230260523A1 (en) 2023-08-17
JP6908168B2 (ja) 2021-07-21
JPWO2016035731A1 (ja) 2017-06-15
RU2017106022A3 (ru) 2019-03-26
US11670306B2 (en) 2023-06-06
JP2023085253A (ja) 2023-06-20
EP4318466A2 (en) 2024-02-07
JP6724782B2 (ja) 2020-07-15
RU2017106022A (ru) 2018-08-22
EP4318466A3 (en) 2024-03-13
EP3196876B1 (en) 2020-11-18
CN106796793B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
RU2698779C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
RU2700405C2 (ru) Устройство передачи данных, способ передачи данных, приёмное устройство и способ приёма
US20240296851A1 (en) Transmission device, transmission method, reception device, and reception method
JP6717329B2 (ja) 受信装置および受信方法
JP7310849B2 (ja) 受信装置および受信方法
RU2701126C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
CA3003686C (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method