RU2687065C2 - Устройство передачи, способ передачи, устройство приема и способ приема - Google Patents

Устройство передачи, способ передачи, устройство приема и способ приема Download PDF

Info

Publication number
RU2687065C2
RU2687065C2 RU2016108851A RU2016108851A RU2687065C2 RU 2687065 C2 RU2687065 C2 RU 2687065C2 RU 2016108851 A RU2016108851 A RU 2016108851A RU 2016108851 A RU2016108851 A RU 2016108851A RU 2687065 C2 RU2687065 C2 RU 2687065C2
Authority
RU
Russia
Prior art keywords
metadata
audio stream
audio
information
data
Prior art date
Application number
RU2016108851A
Other languages
English (en)
Other versions
RU2016108851A (ru
RU2016108851A3 (ru
Inventor
Икуо ЦУКАГОСИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2016108851A publication Critical patent/RU2016108851A/ru
Publication of RU2016108851A3 publication Critical patent/RU2016108851A3/ru
Application granted granted Critical
Publication of RU2687065C2 publication Critical patent/RU2687065C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

Изобретение относится к устройству передачи, которое вставляет метаданные в аудиопоток и передает полученный аудиопоток. Техническим результатом является обеспечение для принимающей стороны возможности простого распознавания, что метаданные вставлены в аудиопоток, чтобы повысить характеристики обработки. Предложено передавать контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные. Информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток, вставляют на уровне контейнера. На стороне приема возможно легко распознавать, что метаданные вставлены в аудиопоток, и надежно получать метаданные без потерь путем выполнения обработки выделения метаданных, вставленных в аудиопоток, на основе распознавания. 4 н. и 7 з.п. ф-лы, 29 ил.

Description

Область техники, к которой относится изобретение
Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема и, более конкретно, к устройству передачи, которое вставляет метаданные в аудиопоток и передает полученный аудиопоток, и т.п.
Уровень техники
В прошлом была предложена технология вставки метаданных в аудиопоток и передачи полученного аудиопотока (см., например, Патентный документ 1).
Список литературы
Патентный документ
Патентный документ 1: Выложенная заявка на патент Японии №2012-010311
Раскрытие изобретения
Задачи, решаемые изобретением
Метаданные определены, например, в области данных пользователя аудиопотока. Однако метаданные не обязательно вставляют во все аудиопотоки.
Цель настоящей технологии состоит в том, чтобы обеспечить для принимающей стороны возможность простого распознавания, что метаданные вставлены в аудиопоток, и, таким образом, повысить характеристики обработки.
Решение задач
Концепция настоящей технологии заложена в устройстве передачи, включающем в себя:
модуль передачи для передачи контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные; и
модуль вставки информации для вставки информации идентификации, указывающей, что метаданные вставлены в аудиопоток на уровне контейнера.
В настоящей технологии модуль передачи передает контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные. Модуль вставки информации вставляет информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток на уровне контейнера.
Например, метаданные могут включать в себя информацию доступа к сети. В этом случае, например, информация доступа к сети может представлять собой информацию доступа к сети, используемую для получения мультимедийной информации, относящейся к данным изображения, включенным в видеопоток, включенный в контейнер из сервера, по сети.
Кроме того, например, метаданные могут включать в себя информацию управления воспроизведением мультимедийной информации. В этом случае, например, мультимедийная информация может представлять собой мультимедийную информацию, относящуюся к данным изображения, включенным в видеопоток, включенный в контейнер.
Как описано выше, в настоящей технологии, информация идентификации, обозначающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера. Таким образом, на стороне приема возможно легко распознать, что метаданные вставлены в аудиопоток, и можно надежно получать метаданные без потерь, путем выполнения обработки выделения метаданных, вставленных в аудиопоток, на основе распознавания.
В настоящей технологии, например, информация о схеме кодирования аудиоданных в аудиопотоке может быть добавлена к информации идентификации. При добавлении такой информации, на стороне приема, становится возможным легко обнаружить схему кодирования аудиоданных в аудиопотоке.
Кроме того, в настоящей технологии, например, информация типа, обозначающая тип метаданных, может быть добавлена к информации идентификации. При добавлении такой информации, на стороне приема, становится возможным легко обнаружить тип метаданных, то есть, что представляют собой метаданные, и определять, например, были или нет получены метаданные.
Кроме того, в настоящей технологии, например, информация флага, обозначающая, были или нет метаданные вставлены только в аудиопоток, может быть добавлена к информации идентификации. При добавлении такой информации, на стороне приема, становится возможным легко обнаружить, были или нет метаданные вставлены только в аудиопоток.
Кроме того, в настоящей технологии, например, тип информации, обозначающий тип частоты вставки метаданных в аудиопоток, может быть добавлен к информации идентификации. При добавлении такой информации, на стороне приема, становится возможным легко обнаружить частоту вставки метаданных в аудиопоток.
Кроме того, другая концепция настоящей технологии заложена в устройстве приеме, включающем в себя:
модуль приема для приема контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные, в которых информация идентификации, указывающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера; и
модуль передачи для передачи аудиопотока на внешнее устройство через заданный путь передачи вместе с информацией идентификации, указывающей, что метаданные вставлены в упомянутый аудиопоток.
В настоящей технологии модуль приема принимает контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные. Информация идентификации, обозначающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера. Модуль передачи передает аудиопоток на внешнее устройство через заданный путь передачи вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток.
Например, модуль передачи может передавать аудиопоток и информацию идентификации на внешнее устройство путем вставки аудиопотока и информации идентификации в период времени гашения обратного хода луча данных изображения, полученных в результате декодирования видеопотока, включенных в контейнер, и передачи данных изображения на внешнее устройство. В этом случае, например, заданный путь передачи может представлять собой кабель мультимедийного интерфейса высокой четкости (HDMI).
Как описано выше, в настоящей технологии, аудиопоток, в который вставлены метаданные, передают на внешнее устройство вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток. Таким образом, на внешней стороне устройства возможно легко распознать, что метаданные вставлены в аудиопоток, и можно надежно получить метаданные без потери путем выполнения обработки выделения метаданных, вставленных в аудиопоток, на основе распознавания.
Кроме того, другая концепция настоящей технологией заложена в устройстве приема, включающем в себя:
модуль приема для приема аудиопотока от внешнего устройства через заданный путь передачи вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток;
модуль выделения метаданных, который декодирует аудиопоток на основе информации идентификации и выделяет метаданные; и
модуль обработки, который выполняет обработку, используя метаданные.
В настоящей технологии модуль приема принимает аудиопоток из внешнего устройства через заданный путь передачи вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток. Модуль выделения метаданных декодирует аудиопоток на основе информации идентификации и выделяет метаданные. Модуль обработки выполняет обработку, используя метаданные.
Например, метаданные могут включать в себя информацию доступа к сети, и модуль обработки может обращаться к заданному серверу по сети на основе информации доступа к сети, и может получать заданную мультимедийную информацию. Кроме того, например, заданный путь передачи может представлять собой кабель мультимедийного интерфейса высокой четкости (HDMI).
Как описано выше, в настоящей технологии, метаданные выделяют из аудиопотока на основе информации идентификации, принятой вместе с аудиопотоком, и используют для обработки. Таким образом, возможно надежно получать метаданные, вставленные в аудиопоток без потерь, и можно выполнять обработку, соответствующим образом, используя метаданные.
В настоящей технологии, например, может быть дополнительно включен модуль интерфейса, который передает аудиопоток в систему внешнего громкоговорителя. В этом случае возможно декодировать аудиопоток через внешнюю систему громкоговорителя и можно выводить звук через внешнюю систему громкоговорителя.
Кроме того, другая концепция настоящей технологии заложена в устройстве приема, включающем в себя:
модуль приема для приема контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные, причем информация идентификации, обозначающая, что метаданные были вставлены в аудиопоток, вставлена на уровне контейнера; и
модуль выделения метаданных для декодирования аудиопотока на основе информации идентификации и выделения метаданных; и
модуль обработки для выполнения обработки с использованием метаданных.
В настоящей технологии модуль приема принимает контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные. Информация идентификации, обозначающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера. Модуль выделения данных декодирует аудиопоток на основе информации идентификации и выделяет метаданные. Модуль обработки выполняет обработку, используя метаданные.
Как описано выше, в настоящей технологии, метаданные выделяют из аудиопотока на основе информации идентификации, вставленной в контейнер, и используют для обработки. Таким образом, возможно надежно без потерь получать метаданные, вставленные в аудиопоток, и выполнять обработку, соответствующим образом используя метаданные.
Эффекты изобретения
В соответствии с настоящей технологией, сторона приема может легко распознать, что метаданные вставлены в аудиопоток. Эффект, описанный здесь, представляет собой просто пример и не обязательно ограничен и может включать в себя любой эффект, описанный в настоящем раскрытии.
Краткое описание чертежей
На фиг. 1 показана блок-схема, поясняющая примерную конфигурацию системы отображения изображения, в соответствии с вариантом осуществления.
На фиг. 2 показана блок-схема, поясняющая примерную конфигурацию модуля генерирования потока, который встроен в устройство широковещательной передачи.
На фиг. 3 представлена схема, иллюстрирующая структуру фрейма (фрейма синхронизации АС3) АС3.
На фиг. 4 представлена схема, иллюстрирующая структуру фрейма (Raw_data_block), включающего в себя аудиоданные 1024 выборок ААС.
На фиг. 5 представлена схема, иллюстрирующая конфигурацию "вспомогательных данных (AUX)", в которые вставлены метаданные MD, когда формат сжатия представляет собой АС3.
На фиг. 6 представлена схема, иллюстрирующая конфигурацию "элемента потока данных (DSE)", в который вставлены метаданные MD, когда формат сжатия представляет собой ААС.
На фиг. 7 показана схема для описания примера синтаксиса метаданных общего назначения.
На фиг. 8 показана схема для описания примера синтаксиса метаданных общего назначения.
На фиг. 9 показана схема для описания примера синтаксиса метаданных общего назначения.
На фиг. 10 представлена схема, иллюстрирующая основные данные, определяющие содержание в синтаксисе метаданных общего назначения.
На фиг. 11 представлена схема, иллюстрирующая пример изменения "metadata_counter" и "metadata_start_flag", когда последовательность метаданных (пакеты метаданных) разделяют и передают.
На фиг. 12 представлена схема, иллюстрирующая пример, в котором множеством частей метаданных управляют для синхронизации с целями синхронизации.
На фиг. 13 представлена схема, иллюстрирующая синтаксис "metadata_linking_Packet ()."
На фиг. 14 представлена схема, иллюстрирующая основные данные, определяющие содержание "metadata_linking_Packet ()."
На фиг. 15 представлена схема, иллюстрирующая пример, в котором множеством модулей метаданных управляют для синхронизации с целями синхронизации.
На фиг. 16 показана примерная структура дескриптора аудиоданных пользователя.
На фиг. 17 показано содержание основной информации в примерной структуре дескриптора аудиоданных пользователя.
На фиг. 18 показана схема для описания примера компоновки модулей видео- и аудиодоступа в транспортном потоке и частоты вставки метаданных в аудиопотоке.
На фиг. 19 представлена схема, иллюстрирующая примерную конфигурацию транспортного потока.
На фиг. 20 показана блок-схема, поясняющая примерную конфигурацию телевизионной приставки, конфигурирующей систему отображения изображения.
На фиг. 21 представлена схема, иллюстрирующая примерную структуру аудиопакета InfoFrame, размещенного в период острова данных.
На фиг. 22 показана блок-схема, поясняющая примерную конфигурацию телевизионного приемника, конфигурирующего систему отображения изображения.
На фиг. 23 показана блок-схема, поясняющая примерную конфигурацию модуля передачи HDMI телевизионной приставки и модуля приема HDMI телевизионного приемника.
На фиг. 24 иллюстрируются различного вида периоды данных передачи, когда данные изображения передают через канал TMDS.
На фиг. 25 показана схема для описания конкретного примера обработки использования метаданных в телевизионном приемнике.
На фиг. 26 представлена схема, иллюстрирующая пример перехода отображения на экране, когда телевизионный приемник получает доступ к сетевой службе на основе метаданных.
На фиг. 27 показана блок-схема, поясняющая конфигурацию системы аудиовывода в телевизионном приемнике в соответствии с вариантом осуществления.
На фиг. 28 показана блок-схема, поясняющая другую примерную конфигурацию системы аудиовывода в телевизионном приемнике.
На фиг. 29 показана блок-схема, поясняющая другую примерную конфигурацию системы отображения изображения.
Осуществление изобретения
Ниже будут описаны режимы (ниже называются "вариантами осуществления") для выполнения изобретения. Описание будет представлено в следующем порядке.
1. Варианты осуществления
2. Модифицированные примеры
1. Варианты осуществления
Примерная конфигурация системы отображения изображения
На фиг. 1 иллюстрируется примерная конфигурация системы 10 отображения изображения, в соответствии с вариантом осуществления. Система 10 отображения изображения включает в себя устройство 100 широковещательной передачи, телевизионную приставку (STB) 200 и телевизионный приемник (TV) 300. Телевизионная приставка 200 соединена с телевизионным приемником 300 через кабель 400 мультимедийного интерфейса высокой четкости (HDMI). "HDMI" представляет собой зарегистрированный товарный знак.
Устройство 100 широковещательной передачи передает транспортный поток TS через волну широковещательной передачи. Транспортный поток TS включает в себя видеопоток и аудиопоток. Устройство 100 широковещательной передачи вставляет метаданные в аудиопоток. Примеры метаданных включают в себя информацию о доступе к сети и информацию управления воспроизведением мультимедийной информации.
Устройство 100 широковещательной передачи вставляет информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток на уровне контейнера. Например, устройство 100 широковещательной передачи вставляет информацию идентификации в контур элементарного аудиопотока под управлением таблицы состава программы (РМТ), как дескриптор.
Устройство 100 широковещательной передачи добавляет информацию о схеме кодирования аудиоданных в аудиопоток, информацию типа, обозначающую тип метаданных, информацию флага, обозначающую, были вставлены или нет метаданные только в аудиопоток, информацию типа, обозначающую тип частоты вставки метаданных в аудиопоток, и т.п., в информацию идентификации.
Телевизионная приставка 200 принимает транспортный поток TS, переданный из устройства 100 широковещательной передачи через волну широковещательной передачи. Как описано выше, транспортный поток TS включает в себя видеопоток и аудиопоток, и метаданные вставлены в аудиопоток.
Телевизионная приставка 200 передает аудиопоток в телевизионный приемник 300 через кабель 400 HDMI вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток.
Здесь телевизионная приставка 200 передает аудиопоток и информацию идентификации в телевизионный приемник 300 путем вставки аудиопотока и информации идентификации в период времени гашения обратного хода луча данных изображения, полученных путем декодирования видеопотока и передачи данных изображения в телевизионный приемник 300. Например, телевизионная приставка 200 вставляет информацию идентификации в аудиопакет InfoFrame.
Телевизионный приемник 300 принимает аудиопоток из телевизионной приставки 200 через кабель 400 HDMI вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток. Другими словами, телевизионный приемник 300 принимает данные изображения, в которых аудиопоток и информация идентификации вставлены в период времени гашения обратного хода луча из телевизионной приставки 200. Телевизионный приемник 300 декодирует аудиопоток на основе информации идентификации, выделяет метаданные и выполняет обработку, используя метаданные.
Модуль генерирования потока устройства широковещательной передачи
На фиг. 2 иллюстрируется примерная конфигурация модуля ПО генерирования потока, который установлен в устройстве 100 широковещательной передачи. Модуль ПО генерирования потока включает в себя модуль 111 управления, видеокодер 112, аудиокодер 113 и мультиплексор 114.
Модуль 111 управления включает в себя CPU 111a и управляет соответствующими модулями модуля 110 генерирования потока. Видеокодер 112 выполняет кодирование, такое как MPEG2, H.264/AVC или H.265/HEVC данных SV изображения и генерирует видеопоток (элементарный видеопоток). Примеры данных SV изображения включают в себя данные изображения, воспроизводимые с носителя записи, такого как HDD, и данные изображения, непосредственно снимаемые видеокамерой.
Аудиокодер 113 выполняет кодирование в соответствии с форматом сжатия, таким как АС3, ААС или US АС для аудиоданных SA, и генерирует аудиопоток (элементарный аудиопоток). Аудиоданных SA представляют собой аудиоданные, соответствующие данным SV изображения, и примеры аудиоданных SA включают в себя аудиоданные, воспроизводимые с носителя записи, такого как HDD, или аудиоданные, непосредственно получаемые с помощью микрофона.
Аудиокодер 113 включает в себя модуль 113а блока кодирования аудиоданных и модуль ПЗЬ формирования аудиофреймов. Кодированный блок генерируют в модуле 113а блока кодирования аудиоданных и формируют из него аудиофреймы в модуле 113b формирования аудиофреймов. В этом случае кодированный блок и фреймы отличаются в соответствии с форматом сжатия.
Аудиокодер 113 вставляет метаданные MD в аудиопоток под управлением модуля 111 управления. В этом варианте осуществления метаданные MD включают в себя информацию сетевого доступа (информацию URL или сетевую информацию) для соединения с сервером по сети, и информацию управления воспроизведением (пуск/пауза/возобновление/остановка) мультимедийной информации после соединения с сервером. Например, информация доступа к сети представляет собой информацию для получения мультимедийной информации, относящейся к данным изображения, включенным в видеопоток из сервера сети. Здесь метаданные MD встроены в область данных пользователя аудиопотока.
Модуль 111 управления подает метаданные MD в аудиокодер 113 и передает информацию о размере для встраивания метаданных MD в область данных пользователя. Затем модуль 111 управления выполняет такое управление, что MD метаданные встраивают в область данных пользователя аудиопотока.
Например, когда формат сжатия представляет собой АС3, модуль 111 управления подает информацию о размере S (=frmsizcod-AUXDATA) в аудиокодер 113. Здесь размер S представляет собой размер аудиофрейма АС3, и здесь устанавливают значение, соответствующее скорости передачи битов и частоте выборки.
Например, когда скорость передачи битов составляет 128 кбит/с, и частота выборки составляет 32 кГц, размер составляет 384*2 байта. Например, когда скорость передачи битов составляет 128 кбит/с, и частота выборки составляет 44,1 кГц, размер составляет 279*2 байта. Например, когда скорость передачи битов составляет 128 кбит/с, и частота выборки составляет 48 кГц, размер составляет 256*2 байта.
На фиг. 3 иллюстрируется структура фрейма (фрейма синхронизации АС3) для АС3, хотя подробное описание не представлено. Аудиокодер 113 устанавливает размер S, в качестве целевого значения, и кодирует аудиоданные SA таким образом, что общий размер "данных мантиссы" "Audblock 5", "AUX" и "CRC" не превышает 3/8 от общего размера. Затем метаданные MD вставляют в область "AUX", выполняют CRC и, таким образом, завершают поток.
Кроме того, например, когда формат сжатия представляет собой ААС, модуль 111 управления подает информацию о размере DSE_S=cnt элемента потока данных (DSE), в который вставлены метаданные MD, в аудиокодер 113. На фиг. 4 иллюстрируется структура фрейма (Raw_data_block), включающая в себя аудиоданные, составляющие 1024 выборок ААС, хотя подробное описание здесь исключено. Аудиокодер 113 завершает поток путем кодирования аудиоданных SA и добавления DSE, в который вставлены метаданные MD.
Аудиокодер 113 может выполнять кодирование дважды. В этом случае аудиокодер 113 первоначально выполняет нормальное кодирование, то есть, кодирование, в котором отсутствуют, как DSE, так и AUX, и затем вставляет метаданные MD в DSE или AUX с размером, зарезервированным заранее, и снова выполняет кодирование.
Как описано выше, метаданные MD встраивают в область данных пользователя аудиопотока ("AUX", в случае АС3, или "DSE", в случае ААС), что будет подробно описано ниже. Хотя подробное описание этого исключено, когда формат сжатия представляет собой USAC, метаданные MD аналогично встраивают в область данных пользователя аудиопотока.
Снова обращаясь к фиг. 2, мультиплексор 114 получает транспортный поток TS, используемый как мультиплексированный поток, путем преобразования потока, выводимого из видеокодера 112, и аудиопоток, выводимый из аудиокодера 113 в пакет PES, выполняя преобразование в транспортный пакет и выполняя мультиплексирование.
Мультиплексор 114 вставляет информацию идентификации, обозначающую, что метаданные MD вставлены в аудиопоток, под управлением таблицы состава программы (РМТ). Дескриптор аудиоданных пользователя (audio_userdata_descriptor) используется для вставки информации идентификации. Этот дескриптор будет подробно описан ниже.
Работа модуля 110 генерирования потока, представленного на фиг. 2, будет кратко описана ниже. Данные изображения SV подают в видеокодер 112. Видеокодер 112 выполняет кодирование, такое как H.264/AVC или H.265/HEVC для данных SV изображения, и генерирует видеопоток, включающий в себя кодированные видеоданные.
Аудиоданные SA подают в аудиокодер 113. Аудиокодер 113 выполняет кодирование, такое как АС3, ААС или US АС для аудиоданных SA, и генерирует аудиопоток.
В это время метаданные MD и информацию размера, для встраивания метаданных MD в область данных пользователя подают из модуля 111 управления в аудиокодер 113. Затем аудиокодер 113 встраивает метаданные MD в область данных пользователя аудиопотока (например, "AUX", в случае АС3, "DSE", в случае ААС, и т.п.).
Видеопоток, генерируемый видеокодером 112, поступает в мультиплексор 114. Аудиопоток, который генерирует аудиокодер 113 и который включает в себя метаданные MD, внедренные в его область данных пользователя, поступает в мультиплексор 114. Затем мультиплексор 114 получает транспортный поток TS, как данные передачи, путем формирования пакетов из потоков, поступающих из кодеров, и выполнения мультиплексирования.
Детали встраивания метаданных MD
Далее будет описано встраивание метаданных MD в область данных пользователя аудиопотока. Как описано выше, когда формат сжатия представляет собой АС3, метаданные MD вставляют в область "AUX (вспомогательные данные)".
На фиг. 5 иллюстрируется конфигурация (синтаксис) "AUX (вспомогательных данных)". Когда "auxdatae" равен "1," "aux data" разрешены, и данные с размером, обозначенным 14 битами (битовые модули) для "auxdatal", определены в "auxbits". В это время размер "audbits" описан в "nauxbits". В настоящей технологии, "metadata ()" определен в пространстве "auzbits".
На фиг. 6 иллюстрируется конфигурация (синтаксис) "элемента потока данных (DSE)". "element_instance_tag" сконфигурировано с 4 битами и обозначает тип данных в "data_stream_element", когда DSE представляет собой унифицированные данные пользователя, его значение может быть равно "0". "Data_byte_align_flag" установлен в "1", и весь DSE выровнен по байтам. Значение "count" (подсчет) или "esc_count", обозначающее количество дополнительных байтов, соответствующим образом определяют в соответствии с размером данных пользователя. В настоящей технологии "metadata()" определено, как пространство "data_stream_byte."
На фиг. 7-9 иллюстрируется синтаксис метаданных общего назначения. На фиг. 10 иллюстрируются основные данных, устанавливающие содержание (семантику) в синтаксисе метаданных общего назначения.
8-битное поле "sync_byte" рассматривается, как уникальное слово, обозначающее контейнер метаданных. 8-битное поле "metadata_type" обозначает тип информации метаданных. На основе типа информации возможно избирательно передавать множество типов метаданных. Например, "00000001" обозначает, что передаваемые метаданные представляют собой информацию доступа для другой услуги, с которой требуется взаимодействовать.
11-битное поле "metadata_length" обозначает количество последовательных байтов. 3-битное поле "metadata_ID" обозначает идентификатор, идентифицирующий вид в типе метаданных. На основе такого идентификатора возможно одновременно передавать множество видов информации, имеющей одинаковый тип.
3-битное поле "metadata_counter" представляет собой информацию подсчета, обозначающую, какое количество составляет информация разделения, когда разделяют и передают последовательность метаданных. Информация подсчета представляет собой величину подсчета счетчика, который увеличивает величину подсчета в единицах аудиофреймов. 1-битное поле "metadata_start_flag" обозначает, является или нет эта информация первой информацией разделения, когда разделяют и передают последовательность метаданных (пакетов метаданных). Например, "1" обозначает, что она представляет собой первую информацию разделения, и "0" обозначает, что она представляет собой информацию разделения, следующую за информацией разделения предыдущего фрейма, другого, чем первая информация разделения.
На фиг. 11 иллюстрируется пример замены "metadata_counter" и "metadata_start_flag", когда последовательность метаданных (пакетов метаданных) разделяют на три, и три части информации разделения встраивают в области данных пользователя трех аудиофреймов. В первом аудиофрейме установлены "metadata_counter=0" и "metadata_start_flag=1". В следующем аудиофрейме установлены "metadata_counter=1" и "metadata_start_flag=0". В последнем аудиофрейме установлены "metadata_counter=2" и Mmetadata_start_flag=0".
Снова обращаясь к фиг. 7, можно видеть, что 1-битное поле "sync_control_flag" обозначает, управляются или нет метаданные, в соответствии с синхронизацией. "1" обозначает, что метаданные управляются, в соответствии с синхронизацией через PTS в "PTS management ()". "0" обозначает, что метаданные не управляются в соответствии с синхронизацией. Когда "sync_control_flag" равняется "1", присутствует "PTS_management ()"·
На фиг. 8 иллюстрируется структура (синтаксис) "PTS_management ()", и присутствует информация времени, обозначенная PTS [32-0] из 33 битов. На фиг. 12 иллюстрируется пример, в котором множество частей метаданных администрируют так, чтобы они были синхронизированы с целями синхронизации. В этом примере метаданные (ID1) синхронизированы с аудио PTS1, метаданные (ID2) синхронизированы с видео PTS1, и метаданные (ID3) синхронизированы с аудио PTS2 и видео PTS2.
Снова обращаясь к фиг. 7, "data_byte", соответствующий количеству байтов, обозначенных "metadata_length", конфигурирует общий пакет метаданных "Metadata_packet ()" или любую одну из множества частей информации разделения, полученной в результате разделения пакета метаданных "Metadata_packet ()".
На фиг. 9 иллюстрируется конфигурация (синтаксис) пакета метаданных "metadata_packet ()". 8-битное поле "packet_type" обозначает тип информации метаданных, аналогично 8-битному полю "metadata_type" в метаданных "metadata ()" (см. фиг. 7). 16-битное поле "metadata_packet_length" обозначает количество последовательных байтов. Метаданные описаны в "data_byte", соответствующем количеству байтов, обозначенному "metadata_packet_length".
Далее будет описан "metadata_packet ()", когда метаданные представляют собой информацию доступа (метаданные для услуги соединения) другой услуги, то есть, "metadata_linking_Packet ()". В случае соединения с сервером услуги соединения и т.п., в качестве сервера источника предоставления содержания или услуги, отдельные знаки "http://www/xxx/com/yyy.zzz" становятся "unit_data" по данным знака. Кроме того, другие коды управления включены в "unit_data" на основе протокола, который определен отдельно.
На фиг. 13 иллюстрируется синтаксис "metadata_linking_packet ()". На фиг. 14 иллюстрируются основные данные, устанавливающие содержание (семантику) для "metadata_linking_packet 0"· 8-битное поле "packet_type" обозначает, что тип метаданных представляет собой другую информацию доступа к услуге. 16-битное поле область "metadata_linking_packet_length" обозначает количество последовательных байтов. 8-битное поле "number_of_units" обозначает количество элементов метаданных.
8-битное поле "unit_ID" обозначает идентификатор, идентифицирующий модуль. 8-битное поле "unit_size" обозначает размер элемента метаданных (metadata_element). 8-битное поле "extended_size" обозначает расширение размера модуля (unit_size). Когда размер модуля (unit_size) превышает 254, устанавливают unit_size=255 и вводят расширенный размер (exended_size). 8-битное поле "unit_data" обозначает элемент метаданных (metadata_element).
На фиг. 15 иллюстрируется пример, в котором множеством модулей метаданных администрируют так, чтобы они были синхронизированы с целями синхронизации. В этом примере модуль (Unit_ID1) метаданных (ID1) представляет собой информацию для обозначения сервера соединения по URL, и модуль (Unit_ID2) метаданных (ID1) представляет собой группу команд для управления "активировать" или "деактивировать". В этом примере модуль (Unit_ID1) метаданных (ID2) представляет собой информацию для обозначения сервера соединения по URL, и модуль (Unit_ID2) метаданных (ID2) представляет собой группу команд для выполнения управления услугой соединения, такой, как "активировать" или "деактивировать".
Модуль (Unit_ID1) метаданных (ID1) синхронизирован с аудио PTS1. Модуль (Unit_ID2) метаданных (ID1) синхронизирован с видео PTS1. Модуль (Unit_IDl) метаданных (ID2) синхронизирован с аудио PTS2 и видео PTS2.
Подробное описание дескриптора аудиоданных пользователя
На фиг. 16 иллюстрируется примерная структура (синтаксис) дескриптора аудиоданных пользователя (audio_userdata_descriptor). На фиг. 17 иллюстрируется содержание основной информации (семантики) в примерной структуре.
8-битное поле "descriptor tag" обозначает тип дескриптора. Здесь 8-битное поле "descriptor_tag" обозначает дескриптор аудиоданных пользователя. 8-битное поле "descriptor_length" обозначает длину (размер) дескриптора, и обозначает количество последовательных байтов, как длину дескриптора.
8-битное поле "audio_codec_type" обозначает схему кодирования аудиоданных (формат сжатия). Например, "1" обозначает "MPEG4 ААС", "2" обозначает "USAC," и "3" обозначает "АС3". Если добавлена такая информация, на стороне приема возможно легко обнаружить схему кодирования аудиоданных в аудиопотоке.
3-битное поле "metadata_type" обозначает тип метаданных. Например, "1" обозначает, что метаданные представляют собой информацию доступа другой услуги, с которой требуется взаимодействовать. При добавлении этой информации на стороне приема становится возможным легко обнаружить тип метаданных, то есть, какие метаданные они представляют собой, и, например, определять, были или нет получены метаданные.
Информация 1-битного флага "coordinated_control_flag" обозначает, были или нет вставлены метаданные только в аудиопоток. Например, "1" обозначает, что метаданные также вставлены в поток другого компонента, и "О" обозначает, что метаданные вставлены только в аудиопоток. При добавлении такой информации на стороне приема возможно легко обнаружить, были или нет вставлены метаданные только в аудиопоток.
3-битное поле "frequency_type" обозначает тип частоты вставки метаданных в аудиопоток. Например, "1" обозначает, что данные пользователя (метаданные) вставлены в каждый модуль доступа аудиоданных. "2" обозначает, что одна или больше частей данных пользователя (метаданных) вставлены в каждый модуль доступа аудиоданных. "3" обозначает, что, по меньшей мере, одни данные пользователя (метаданные) вставлены в первый модуль доступа аудиоданных для каждой группы, включающей в себя точку случайного доступа. При добавлении такой информации, на стороне приема, становится возможным легко обнаружить частоту вставки метаданных в аудиопоток.
На фиг. 18 (а) иллюстрируется пример компоновки модулей видео- и аудиодоступа в транспортный поток TS. "VAU" обозначает модуль видеодоступа. "AAU" обозначает модуль аудиодоступа. На фиг. 18 (b) иллюстрируется, что одни данные пользователя (метаданные) вставлены в каждый модуль аудиодоступа, когда установлено "frequency_type=1".
На фиг. 18 (с) иллюстрируется, что одни данные пользователя (метаданные) вставлены в каждый модуль аудиодоступа, когда установлено "frequency_type=2". Одна или больше частей данных пользователя (метаданных) вставлена в один модуль аудиодоступа. На фиг. 18 (d) иллюстрируется, что, по меньшей мере, одни данные пользователя (метаданные) вставлены в первый модуль аудиодо ступа для каждой группы, включающей в себя точку случайного доступа, когда установлено "frequency type=3".
Конфигурация транспортного потока TS
На фиг. 19 иллюстрируется пример конфигурации транспортного потока TS. В примерной конфигурации присутствует "пакет PES видео PES" видеопотока, обозначенного PID1, и присутствует пакет PES "аудио PES" аудиопотока, обозначенного PID2. Пакет PES конфигурирован с заголовком PES (PES_header) и полезной нагрузкой PES (PES_payload). Временные метки DTS и PTS вставлены в заголовок PES. Здесь присутствует область данных пользователя включающая в себя метаданные в полезной нагрузке PES пакета PES аудиопотока.
Транспортный поток TS включает в себя РМТ, как информацию, специфичную для программы (PCI). PCI представляет собой информацию, описывающую программу, которой принадлежит каждый элементарный поток, включенный в транспортный поток. Таблица состава программы (РМТ) включает в себя программный контур, описывающий информацию, ассоциированную со всей программой.
РМТ дополнительно включает в себя контур элементарного потока, включающий в себя информацию, ассоциированную с каждым элементарным потоком. В этой примерной конфигурации существует контур элементарного видеопотока (контур видео ES), соответствующий видеопотоку, и существует контур элементарного аудиопотока (контур аудио ES), соответствующий аудиопотоку.
В контуре элементарного видеопотока (контур видео ES), информация, такая как тип потока и идентификатор пакета (PID), расположена в ассоциации с видеопотоком, и также размещен дескриптор, описывающий информацию, ассоциированную с видеопотоком. Значение "Stream_type" видеопотока установлено в "0×24", и информация PID рассматривается, как обозначающая PID1, выделенный для "пакета PES" видео PES видеопотока, как описано выше. Дескриптор HEVC размещен, как один из дескрипторов.
В контуре элементарного аудиопотока (контур аудио ES) размещена информация, такая как тип потока и идентификатор пакета (PID), в ассоциации с аудиопотоком, и также размещен дескриптор, описывающий информацию, ассоциированную с аудиопотоком. Значение "Stream_type" аудиопотока установлено в "0×11 ", и информация PID рассматривается, как обозначающая PID2, выделенный для пакета PES "аудио PES" для аудиопотока, как описано выше. Дескриптор аудиоданных пользователя (audio_userdata_descriptor) размещен, как один из дескрипторов.
Пример конфигурации телевизионной приставки
На фиг. 20 представлена примерная конфигурация телевизионной приставки 200. Телевизионная приставка 200 включает в себя антенный терминал 203, цифровой тюнер 204, демультиплексор 205, видеодекодер 206, модуль 207 формирования аудиофреймов, модуль 208 передачи HDMI и разъем 209 HDMI. Телевизионная приставка 200 включает в себя CPU 211, флэш-ROM 212, DRAM 213, внутреннюю шину 214, модуль 215 приема пульта дистанционного управления и передатчик 216 дистанционного управления.
CPU 211 управляет операциями соответствующих модулей телевизионной приставки 200. Во флэш-ROM 212 содержится управляющее программное обеспечение, и в нем содержатся данные. DRAM 213 конфигурирует рабочую область CPU 211. CPU 211 активирует программное обеспечение, считанное из флэш-ROM 212, или обрабатывает данные в DRAM 213 и активирует программное обеспечение, и управляет соответствующими модулями телевизионной приставки 200.
Модуль 215 приема пульта дистанционного управления принимает сигнал дистанционного управления (код дистанционного управления), передаваемый из передатчика 216 дистанционного управления, и подает сигнал дистанционного управления (код дистанционного управления) в CPU 211. CPU 211 управляет соответствующими модулями телевизионной приставки 200 на основе кода дистанционного управления. CPU 211, флэш-ROM 212 и DRAM 213 соединены с внутренней шиной 214.
Антенный разъем 203 представляет собой разъем, через который поступает телевизионный сигнал широковещательной передачи, принимаемый через приемную антенну (не показана). Цифровой тюнер 204 обрабатывает телевизионный сигнал широковещательной передачи, подаваемый в антенный разъем 203, и выводит транспортный поток TS, соответствующий каналу, выбранному пользователем.
Демультиплексор 205 выделяет пакет видеопотока из транспортного потока TS и передает пакет видеопотока в видеодекодер 206. Видеодекодер 206 переконфигурирует видеопоток из видео пакета, выделенного демультиплексором 205, выполняет обработку декодирования и получает развернутые данные изображения. Демультиплексор 205 выделяет пакет аудиопотока из транспортного потока TS и переконфигурирует аудиопоток. Модуль 207 формирования аудиофреймов выполняет формирование фреймов для аудиопотока, переконфигурированного, как описано выше.
Демультиплексор 205 выделяет различного рода дескрипторы и т.п. из транспортного потока TS и передает выделенные дескрипторы и т.п. в CPU 211. Здесь дескриптор также включает в себя дескриптор аудиоданных пользователя, используемый, как информация идентификация, обозначающая, что метаданные вставлены в аудиопоток (см. фиг. 16).
Модуль 208 передачи HDMI передает несжатые данные изображения, полученные из видеодекодера 206, и аудиопоток в виде сформированных фреймов в модуле 207 фреймов аудиоданных через разъем 209 HDMI в соответствии с передачей данных, соответствующей HDMI. Модуль 208 передачи HDMI упаковывает данные изображения и аудиопоток для передачи через канал TMDS HDMI и передает полученные в результате данные в терминал 209 HDMI.
Модуль 208 передачи HDMI вставляет информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток, под управлением CPU 211. Модуль 208 передачи HDMI вставляет аудиопоток и информацию идентификации в период времени гашения обратного хода луча данных изображения. Модуль 209 передачи HDMI подробно будет описан ниже.
В этом варианте осуществления модуль 208 передачи HDMI вставляет информацию идентификации в пакет аудиоданных InfoFrame, размещенный в период времени гашения обратного хода луча в данных изображения. Пакет аудиоданных InfoFrame размещен в период острова аудиоданных.
На фиг. 21 иллюстрируется примерная структура пакета InfoFrame аудиоданных. В HDMI вспомогательная информация, относящаяся к звуку, может быть передана из устройства источника в устройство потребитель через пакет InfoFrame аудиоданных.
"Packet Туре", обозначающий вид пакета данных, определен в 0-ом байте, и пакет InfoFrame аудиоданных установлен в "0×84". Информация версии определения данных пакета описана в 1-ом байте. Информация, обозначающая длину пакета, описана во 2-ом байте.
В этом варианте осуществления 1-битная информация флага для "userdata_presence_flag" определена в 5-ом бите 5-ого байта. Когда информация флага равна "1", информация идентификации определена в 9-ом байте. С 7-ой по 5-ый биты используются, как поле "metadata_type", 4-ый бит используется, как поле "coordinated_control_flag", и со 2-ого по 0-ой биты используются, как поле "frequencyjype". Хотя подробное описание этого не представлено, соответствующие поля обозначают ту же информацию, что и соответствующие поля дескриптора аудиоданных пользователя, представленные на фиг. 16.
Операция телевизионной приставки 200 будет кратко описана ниже. Телевизионный сигнал широковещательной передачи, подаваемый в антенный терминал 203, поступает в цифровой тюнер 204. Цифровой тюнер 204 обрабатывает телевизионный сигнал широковещательной передачи, и выводит транспортный поток TS, соответствующий каналу, выбранному пользователем.
Транспортный поток TS, выводимый из цифрового тюнера 204, поступает в демультиплексор 205. Демультиплексор 205 выделяет пакет элементарного видеопотока из транспортного потока TS и передает этот пакет элементарного видеопотока в видеодекодер 206.
Видеодекодер 206 реконфигурирует видеопоток из видео пакета, выделенного демультиплексором 205, затем выполняет обработку декодирования видео потока, и получает данные изображения. Данные изображения поступают в модуль 208 передачи HDMI.
Демультиплексор 205 выделяет пакет аудиопотока из транспортного потока TS, и реконфигурирует аудиопоток. Из аудиопотока формируют фреймы с помощью модуля 207 формирования фреймов аудиоданных и затем подают в модуль 208 передачи HDMI. Затем модуль 208 передачи HDMI упаковывает данные изображения и аудиопоток, и передает полученные в результате данные из разъема 209 HDMI в кабель 400 HDMI.
Демультиплексор 205 выделяет различного вида дескрипторы и т.п.из транспортного потока TS и передает дескрипторы и т.п. в CPU 211. Здесь дескриптор также включает в себя дескриптор аудиоданных пользователя, и CPU 211 детектирует, что метаданные вставлены в аудиопоток, на основе дескриптора.
Модуль 208 передачи HDMI вставляет информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток, в пакете InfoFrame аудиоданных, расположенном в периоде времени гашения обратного хода луча данных изображения под управлением CPU 211. Таким образом, информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток, передают из телевизионной приставки 200 в телевизионный приемник 300 HDMI.
Пример конфигурации телевизионного приемника
На фиг. 22 иллюстрируется пример конфигурации телевизионного приемника 300. Телевизионный приемник 300 включает в себя антенный разъем 305, цифровой тюнер 306, демультиплексор 307, видеодекодер 308, схему 309 обработки видеоданных, схему 310 управления панелью и панель 311 отображения.
Телевизионный приемник 300 включает в себя аудиодекодер 312, схему 313 обработки аудиоданных, схему 314 усиления звука, громкоговоритель 315, разъем 316 HDMI, модуль 317 приема HDMI и интерфейс 318 передачи данных. Телевизионный приемник 300 включает в себя CPU 321, флэш-ROM 322, DRAM 323, внутреннюю шину 324, модуль 325 приема дистанционного управления и передатчик 326 дистанционного управления.
CPU 321 управляет операциями соответствующих модулей телевизионного приемника 300. Во флэш-ROM 322 содержатся программное обеспечение управления и данные. DRAM 323 конфигурирует рабочую область CPU 321. CPU 321 активирует программное обеспечение, считанное из флэш-ROM 322, или обрабатывает данные в DRAM 323 и активирует программное обеспечение, и управляет соответствующими модулями телевизионного приемника 300.
Модуль 325 приема дистанционного управления принимает сигнал дистанционного управления (код контроллера дистанционного управления), переданный из передатчика 326 контроллера дистанционного управления, и подает сигнал дистанционного управления (код контроллера дистанционного управления) в CPU 321. CPU 321 управляет соответствующими модулями телевизионного приемника 300 на основе кода контроллера дистанционного управления. CPU 321, флэш-ROM 322 и DRAM 323 соединены с внутренней шиной 324.
Интерфейс 318 передачи данных выполняет обмен данными с сервером, расположенным в сети, такой как Интернет под управлением CPU 321. Интерфейс 318 передачи данных соединен с внутренней шиной 324.
Антенный разъем 305 представляет собой разъем, через который поступает телевизионный сигнал широковещательной передачи, принятый через приемную антенну (не показана). Цифровой тюнер 306 обрабатывает телевизионный сигнала широковещательной передачи, поданный в антенный разъем 305, и выводит транспортный поток TS, соответствующий каналу, выбранному пользователем.
Демультиплексор 307 выделяет пакет видеопотока из транспортного потока TS, и передает пакет видеопотока в видеодекодер 308. Видеодекодер 308 реконфигурирует видеопоток из видеопакета, выделенного демультиплексором 307, выполняет обработку декодирования и получает несжатые данные изображения.
Демультиплексор 205 выделяет пакет аудиопотока из транспортного потока TS и реконфигурирует аудиопоток. Демультиплексор 307 выделяет различного рода дескрипторы и т.п. из транспортного потока TS и передает выделенные дескрипторы и т.п. в CPU 321. Здесь дескриптор также включает в себя дескриптор аудиоданных для данных пользователя, используемый, как информация идентификации, обозначающая, что метаданные вставлены в аудиопоток (см. фиг. 16). Видеодекодер 308 реконфигурирует видеопоток из видеопакета, выделенного демультиплексором 307, выполняет обработку декодирования и получает несжатые данные изображения.
Модуль 317 приема HDMI принимает данные изображения и аудиопоток, подаваемый в разъем 316 HDMI, через кабель 400 HDMI, в соответствии с передачей данных, соответствующей HDMI. Модуль 317 приема HDMI выделяет различную информацию управления, вставленную в период времени гашения обратного хода луча данных изображения, и передает выделенную информацию управления в CPU 321. Здесь информация управления также включает в себя информацию идентификации, которая обозначает, что метаданные вставлены в аудиопоток и вставлены в аудиопакет InfoFrame (см. фиг. 21). Модуль 317 приема HDMI будет подробно описан ниже.
Схема 309 обработки видеоданных получает данные отображаемого изображения путем выполнения обработки масштабирования, обработки синтеза и т.п. для данных изображения, которые получают через видеодекодер 308 или модуль 316 приема HDMI, и данных изображения, принятых из сервера по сети через интерфейс 318 связи.
Схема 310 управления панелью управляет панелью 311 дисплея на основе данных отображаемого изображения, полученных через схему 309 обработки видеоданных. Панель 311 дисплея выполнена, например, на основе жидкокристаллического дисплея (LCD), дисплея на основе органической электролюминесценции (дисплей органической EL) и т.п.
Аудиодекодер 312 получает несжатые аудиоданные путем выполнения обработки декодирования аудиопотока, который получают через демультиплексор 307 или модуль 317 приема HDMI. Аудиодекодер 312 выделяет метаданные, вставленные в аудиопоток, и передает выделенные метаданные в CPU 321. CPU 321, соответственно, обеспечивает выполнение соответствующими модулями телевизионного приемника 300 обработки с использованием метаданных.
Схема 313 обработки аудиоданных выполняет необходимую обработку, такую как D/A преобразование, для аудиоданных, полученных через аудиодекодер 312. Схема 314 усиления звука усиливает аудиосигнал, выводимый из схемы 313 обработки аудиоданных, и подает усиленный аудиосигнал в громкоговоритель 315.
Операция телевизионного приемника 300, представленная на фиг. 22, будет кратко описана. Сигнал телевизионной широковещательной передачи, поступающий в антенный разъем 305, подают в цифровой тюнер 306. Цифровой тюнер 306 обрабатывает телевизионный сигнал широковещательной передачи и получает транспортный поток TS, соответствующий каналу, выбранному пользователем.
Транспортный поток TS, полученный в цифровом тюнере 306, поступает в демультиплексор 307. Демультиплексор 307 выделяет пакет видеопотока из транспортного потока TS и подает этот пакет видеопотока в видеодекодер 308. Видеодекодер 308 переконфигурирует поток из видеопакета, выделенного демультиплексором 307, выполняет обработку декодирования и получает несжатые данные изображения. Данные изображения поступают в схему 309 обработки видеоданных.
Демультиплексор 307 выделяет пакет аудиопотока из транспортного потока TS, и переконфигурирует аудиопоток. Аудиопоток подают в аудиодекодер 312. Демультиплексор 307 выделяет различного рода дескрипторы и т.п. из транспортного потока TS и передает дескрипторы и т.п. в CPU 321.
Дескриптор также включает в себя дескриптор аудиоданных пользователя, используемый информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток. Таким образом, CPU 321 управляет работой аудиодекодера 312 на основе информации идентификации таким образом, что метаданные выделяют из аудиопотока.
Модуль 317 приема HDMI принимает данные изображения и аудиопоток, подаваемый в разъем 316 HDMI через кабель 400 HDMI в соответствии с передачей данных, соответствующей HDMI. Данные изображения подают в схему 309 обработки видеоданных. Аудиопоток подают в аудиодекодер 312.
Модуль 317 приема HDMI выделяет различную информацию управления, вставленную в период времени гашения обратного хода луча данных изображения, и передает выделенную информацию управления в CPU 321. Здесь информация управления также включает в себя информацию идентификации, которая обозначает, что метаданные вставлены в аудиопоток и вставлены в пакет InfoFrame аудиоданных. Таким образом, CPU 321 управляет работой аудиодекодера 312 на основе информации идентификации таким образом, что метаданные выделяют из аудиопотока.
Схема 309 обработки видеоданных получает данные отображаемого изображения путем выполнения обработки масштабирования, обработки синтеза и т.п.для данных изображения, которые были получены видеодекодером 308 или модулем 317 приема HDMI, и данных изображения, принятых из сервера по сети через интерфейс 318 передачи данных. Здесь, когда принимают и обрабатывают телевизионный сигнал широковещательной передачи, схема обработки 309 видеоданных работает с данными изображения, полученными в видеодекодере 308. С другой стороны, когда телевизионная приставка 200 соединена с интерфейсом HDMI, схема 309 обработки видеоданных работает с данными изображения, полученными в модуле 317 приема HDMI.
Данные отображаемого изображения, полученные в схеме 309 обработки видеоданных, поступают в схему 310 управления панелью. Схема 310 управления панелью управляет панелью 311 отображения на основе данных отображаемого изображения. В результате, изображение, соответствующее данным отображаемого изображения, отображают на панели 311 отображения.
Аудиодекодер 312 получает несжатые аудиоданные в результате выполнения обработки декодирования аудиопотока, который получают в демультиплексоре 307 или в модуле 316 приема HDMI. Здесь, когда принимают и обрабатывают сигнал телевизионной широковещательной передачи, аудиодекодер 312 работает с аудиопотоком, полученным в демультиплексоре 307. С другой стороны, когда телевизионная приставка 200 соединена через интерфейс HDMI, аудиодекодер 312 работает с аудиопотоком, полученным в модуле 317 приема HDMI.
Аудиоданные, полученные в аудиодекодере 312, поступают в схему 313 обработки аудиоданных. Схема 313 обработки аудиоданных выполняет необходимую обработку, такую как D/A преобразование аудиоданных. Аудиоданные усиливают схемой 314 усиления данных и подают в громкоговоритель 315. В результате, звук, соответствующий отображаемому изображению на панели 311 дисплея, выводят из громкоговорителя 315.
Аудиодекодер 312 выделяет метаданные, вставленные в аудиопоток. Например, обработку выделения метаданных надежно выполняют без потерь с помощью CPU 321 в результате обнаружения, что метаданные вставлены в аудиопоток на основе информации идентификации и управления операцией аудиодекодера 312, как описано выше.
Метаданные, выделенные аудиодекодером 312, как описано выше, передают в CPU 321. CPU 321, соответственно, управляет соответствующими модулями телевизионного приемника 300 таким образом, что выполняется обработка, используя метаданные. Например, данные изображения получают из сервера по сети, и выполняют многоэкранное отображение.
Пример конфигурации модуля передачи HDMI и модуля приема HDMI
На фиг. 23 иллюстрируется пример конфигурации модуля 208 передачи HDMI (источника HDMI) телевизионной приставки 200, показанной на фиг. 20, и модуля 317 приема HDMI (потребителя HDMI) телевизионного приемника 300, показанного на фиг. 22.
Модуль 208 передачи HDMI передает дифференциальный сигнал, соответствующий данным пикселя изображения одного несжатого экрана в модуль 317 приема HDMI, в одном направлении, через множество каналов, в течение эффективного периода изображения (ниже также называется, соответственно, "периодом активного видео"). Здесь эффективный период изображения представляет собой период, получаемый путем вычитания периода времени гашения обратного горизонтального хода луча и с периода времени гашения обратного вертикального хода луча из периода от некоторого вертикального сигнала синхронизации до следующего сигнала вертикальной синхронизации. Модуль 208 передачи HDMI передает дифференциальный сигнал, соответствующий, по меньшей мере, аудиоданным или данным управления, прикрепленным к изображению, другими вспомогательными данными и т.п., в модуль 317 приема HDMI, в одном направлении, через множество каналов, в период времени гашения обратного горизонтального хода луча или в период времени гашения обратного вертикального хода луча.
Каналы передачи системы HDMI, сконфигурированные с модулем 208 передачи HDMI и с модулем 317 приема HDMI, включают в себя следующие каналы передачи. Другими словами, существуют три канала TMDS от №0 до №2, в качестве каналов передачи, используемые для последовательной передачи данных пикселя и аудиоданных из модуля 208 передачи HDMI в модуль 317 приема HDMI в одном направлении, синхронно с тактовой частотой пикселей. Кроме того, в качестве канала передачи, используемого для передачи тактовой частоты пикселей, используется канал тактовой частоты TMDS.
Модуль 208 передачи HDMI включает в себя передатчик 81 HDMI. Например, передатчик 81 преобразует данные пикселя в виде несжатого изображения в соответствующий дифференциальный сигнал, и последовательно передает дифференциальный сигнал в модуль 317 приема HDMI, соединенный через кабель 400 HDMI, в одном направлении, через множество каналов, то есть, через три канала №0, №1 и №2 TMDS.
Передатчик 81 преобразует аудиоданные, прикрепленные к несжатому изображению, необходимые данные управления, другие вспомогательные данные и т.п.в соответствующий дифференциальный сигнал и последовательно передает этот дифференциальный сигнал в модуль 317 приема HDMI в одном направлении через три канала №0, №1 и №2 TMDS.
Кроме того, передатчик 81 передает тактовую частоту пикселя, синхронизированную с данными пикселя, передаваемыми через три канала №0, №1 и №2 TMDS в модуль 317 приема HDMI, подключенный через кабель 400 HDMI, через канал тактовой частоты TMDS. Здесь данные пикселя размером 10 битов передают через один канал TMDS №i (i=0, 1 и 2) в течение одного периода тактовой частоты пикселя.
Модуль 317 приема HDMI принимает дифференциальный сигнал, соответствующий данным пикселя, переданным из модуля 208 передачи HDMI в одном направлении через множество каналов в период активного видео. Модуль 317 приема HDMI принимает дифференциальный сигнал, соответствующий аудиоданным или данным управления, переданным из модуля 208 передачи HDMI в одном направлении через множество каналов в течение периода времени гашения обратного горизонтального хода луча или в течение периода времени гашения обратного вертикального хода луча.
Другими словами, модуль 317 приема HDMI включает в себя приемник 82 HDMI. Приемник 82 HDMI принимает дифференциальный сигнал, соответствующий данным пикселя, и дифференциальный сигнал, соответствующий аудиоданным или данным управления, переданным из модуля 208 передачи HDMI в одном направлении через каналы №0, №1 и №2 TMDS. В этом случае прием выполняют в синхронизации с тактовой частотой пикселя, передаваемой из модуля 208 передачи HDMI, через канал тактовой частоты TMDS.
Каналы передачи системы HDMI включают в себя канал данных отображения (DDC) 83 и каналы передачи, называемые линией 84 СЕС, в дополнение к каналам №0 -№2 TMDS и каналу тактовой частоты TMDS. DDC 83 выполнен из двух сигнальных линий (не показаны), включенных в кабель 400 HDMI. DDC 83 используется, когда модуль 208 передачи HDMI считывает расширенные удлиненные данные идентификации дисплея (е-EDID) из модуля 317 приема HDMI.
Модуль 317 приема HDMI включает в себя постоянное запоминающее устройство (ROM) 85 EDID, в котором содержится e-EDID, используемый, как информация рабочей характеристики, относящаяся к его рабочим характеристикам (конфигурация/возможности), в дополнение к приемнику 81 HDMI. Модуль 208 передачи HDMI считывает e-EDID из модуля 317 приема HDMI, подключенного через кабель 400 HDMI, через DDC 83, например, в соответствии с запросом из CPU 211 (см. фиг. 20).
Модуль 208 передачи HDMI передает считанное значение e-EDID в CPU 211. CPU 211 сохраняет e-EDID во флэш-ROM 212 или DRAM 213.
Линия 84 СЕС выполнена в виде одной линии сигнала (не показана), включенной в кабель 400 HDMI, и используется для выполнения двусторонней передачи данных управления между модулем 208 передачи HDMI и модулем 317 приема HDMI. Линия 84 СЕС конфигурирует линию данных управления.
Кабель 400 HDMI включает в себя линию (линия HPD) 86, подключенную к выводу, называемому обнаружением активного соединения (HPD). Устройство источника может обнаружить соединение устройства потребителя, используя линию 86. Линия 86 HPD используется, как линия НЕАС, также конфигурирующая двусторонний путь передачи данных. Кабель 400 HDMI включает в себя линию 87 питания, используемую для подачи электропитания от устройства источника в устройство потребителя. Кабель 400 HDMI дополнительно включает в себя линию 88 утилиты. Линия 88 утилиты используется, как линия НЕАС+, также конфигурирующая путь двусторонней передачи данных.
На фиг. 24 иллюстрируются различного вида периоды данных передачи, когда данные изображения 1920 пикселей × 1080 строк передают через каналы №0, №1 и №2 TMDS. Здесь представлены три вида периодов, то есть, период 17 видеоданных, период 18 острова данных и период 19 управления в видеополе, в котором передают данные передачи, передаваемые по трем каналам №0, №1 и №2 TMDS в HDMI.
Здесь период видеополя представляет собой период в диапазоне от переднего фронта (активного фронта) определенного вертикального синхронного сигнала до переднего фронта следующего вертикального синхронного сигнала, и его делят на период времени 15 гашения горизонтального (горизонтальное гашение) обратного хода луча, период времени 16 вертикального гашения (вертикальное гашение) обратного хода луча и период 14 активного пикселя (активное видео), используемый как период, получаемый путем вычитания периода времени гашения горизонтального обратного хода луча и периода времени гашения вертикального обратного хода луча из периода видеополя.
Период 17 видеоданных выделяют для периода 14 эффективного пикселя. В период 17 видеоданных передают данные эффективных пикселей (активных пикселей) размером 1920 пикселей × 1080 строк, конфигурирующих данные изображения одного несжатого экрана. Период 18 острова данных и период 19 управления выделяют для периода времени 15 гашения горизонтального обратного луча и периода времени 16 гашения вертикального обратного хода луча. В период 18 острова данных и в период управления 19 передают вспомогательные данные.
Другими словами, период 18 острова данных выделяют для части периода времени 15 гашения горизонтального обратного хода луча и части периода времени 16 гашения вертикального обратного хода луча. Во время периода 18 острова данных, среди вспомогательных данных передают пакет данных, который не относится к управлению, например, пакет аудиоданных. Период 19 управления выделяют для другой части периода времени 15 гашения горизонтального обратного хода луча и другой части периода времени 16 гашения вертикального обратного хода луча. Во время периода 19 управления, среди вспомогательных данных передают пакет данных, относящийся к управлению, например, сигнал вертикальной синхронизации, сигнал горизонтальной синхронизации, пакет управления и т.п.
Далее, со ссылкой на фиг. 25, будет описан конкретный пример обработки, с использованием метаданных в телевизионном приемнике 300. Телевизионный приемник 300 получает, например, в качестве метаданных, URL исходного сервера, информацию идентификации сетевой услуги, наименование целевого файла, команду начала/конца сеанса, команду записи/воспроизведения мультимедийных данных и т.п.
Телевизионный приемник 300, используемый, как сетевой клиент, обращается к первичному серверу, используя URL исходного сервера. Затем телевизионный приемник 300 получает из первичного сервера такую информацию, как URL сервера потоковой передачи данных, наименование целевого файла, тип MIME, обозначающий тип файла, и информацию времени воспроизведения мультимедийных данных.
Затем телевизионный приемник 300 обращается к серверу потоковой передачи данных, используя URL сервера потоковой передачи данных. Затем телевизионный приемник 300 обозначает наименование целевого файла. Здесь, когда услугу принимают, используя многоадресную передачу, телевизионный приемник 300 устанавливает услугу программы на основе информации идентификации сети и информации идентификации услуги.
Затем телевизионный приемник 300 начинает или заканчивает сеанс с сервером потоковой передачи данных, в соответствии с командой начала/конца сеанса. Кроме того, телевизионный приемник 300 получает мультимедийные данные из сервера потоковой передачи данных, используя команду записи/воспроизведения мультимедийных данных во время сеанса с сервером потоковой передачи данных.
В примере на фиг. 25 первичный сервер и сервер потоковой передачи данных размещены по отдельности. Однако, серверы могут быть сконфигурированы интегрально.
На фиг. 26 иллюстрируется пример перехода отображения на экране, когда телевизионный приемник 300 обращается к сетевой услуге на основе метаданных. На фиг. 26 (а) иллюстрируется состояние, в котором изображение не отображается на панели 311 отображения. На фиг. 26 (b) иллюстрируется состояние, в котором начинается прием широковещательной передачи, и отображается основное содержание, относящееся к приему широковещательной передачи на панели 311 отображения, в форме отображения на весь экран.
На фиг. 26 (с) иллюстрируется состояние, в котором происходит доступ к услуге на основе метаданных, и начинается сеанс между телевизионным приемником 300 и сервером. В этом случае отображение основного содержания, относящегося к приему широковещательной передачи, изменяется с отображения на весь экран на отображение в части экрана.
На фиг. 26 (d) иллюстрируется состояние, в котором выполняется воспроизведение мультимедийных данных, полученных из сервера, и содержание 1 сетевой услуги отображается на панели 311 отображения параллельно с отображением основного содержания. На фиг. 26 (е) иллюстрируется состояние, в котором выполняется воспроизведение мультимедийных данных из сервера, и содержание 2 сетевой услуги отображается на панели 311 отображения с наложением на основное содержание вместе с содержанием 1 сетевой услуги, параллельно с отображением основного содержания.
На фиг. 26 (f) иллюстрируется состояние, в котором воспроизведение содержания услуги из сети заканчивается, и заканчивается сеанс между телевизионным приемником 300 и сервером. В этом случае панель 311 отображения возвращается в состояние, в котором отображается основное содержание, относящееся к приему широковещательной передачи, в форме отображения на весь экран.
Телевизионный приемник 300, представленный на фиг. 22, включает в себя громкоговоритель 314 и имеет конфигурацию, в которой аудиоданные, полученные аудиодекодером 312, подают в громкоговоритель 315 через схему 313 обработки аудиоданных и схему 314 усиления звука, и, таким образом, звук выводят через громкоговоритель 315, как показано на фиг. 27.
Однако, как представлено на фиг. 28, телевизионный приемник 300 может иметь конфигурацию, в которой громкоговоритель не предусмотрен, и аудиопоток, полученный демультиплексором 307 или модулем 317 приема HDMI, подают из модуля 331 интерфейса в систему 350 внешнего громкоговорителя. Модуль 331 интерфейса представляет собой цифровой интерфейс, такой как мультимедийный интерфейс высокой четкости (HDMI), цифровой интерфейс Sony Philips (SPDIF), или мобильное соединение высокой четкости (MHL).
В этом случае, аудиодекодер 351а, предусмотренный в системе 350 внешнего громкоговорителя, выполняет обработку декодирования аудиопотока и, таким образом, звук выводят из системы 350 внешнего громкоговорителя. Кроме того, даже когда телевизионный приемник 300 оборудован громкоговорителем 315 (см. фиг. 27), аудиопоток может быть подан из модуля 331 интерфейса в систему 350 внешнего громкоговорителя (см. фиг. 28).
Как описано выше, в системе 10 отображения изображения, представленной на фиг. 1, устройство 100 широковещательной передачи вставляет метаданные в аудиопоток, и вставляет информацию идентификации, обозначающую, что метаданные вставлены в аудиопоток на уровне контейнера. Таким образом, сторона приема (телевизионная приставка 200 и телевизионный приемник 300) может легко распознавать, что метаданные вставлены в аудиопоток.
Кроме того, в системе 10 отображения изображения, представленной на фиг. 1, телевизионная приставка 200 передает аудиопоток, в котором метаданные вставлены в телевизионный приемник 300, вместе с информацией идентификации, обозначающей, что метаданные вставлены в аудиопоток, в соответствии с HDMI. Таким образом, телевизионный приемник 300 может легко распознавать, что метаданные вставлены в аудиопоток, и может получать и использовать метаданные надежно и без потерь в результате выполнения обработки выделения метаданных, вставленных в аудиопоток, на основе такого распознавания.
Кроме того, в системе 10 отображения изображения, представленной на фиг. 1, телевизионный приемник 300 выделяет метаданные из аудиопотока на основе информации идентификации, принятой вместе с аудиопотоком, и использует выделенные метаданные для обработки. Таким образом, становится возможным получать метаданные, вставленные в аудиопоток, надежно и без потерь и соответствующим образом выполнять обработку с использованием метаданных.
2. Модифицированные примеры
В представленном выше варианте осуществления телевизионная приставка 200 выполнена с возможностью приема данных изображения и аудиопотока из сигнала широковещательной передачи, переданного из устройства 100 широковещательной передачи. Однако, телевизионная приставка 200 может быть выполнена с возможностью приема данных изображения и аудиопотока из сервера доставки (сервера потоковой передачи данных) через сеть.
Кроме того, в представленном выше варианте осуществления, телевизионная приставка 200 выполнена с возможностью передачи данных изображения и аудиопотока в телевизионный приемник 300. Однако, данные изображения и аудиопоток могут быть переданы в устройство монитора, проектор и т.п.вместо телевизионного приемника 300. Вместо телевизионной приставки 200 можно использовать устройство записи с функцией приема, персональный компьютер и т.п.
Кроме того, в представленном выше варианте осуществления, телевизионная приставка 200 и телевизионный приемник 300 соединены через кабель 400 HDMI. Однако, даже когда телевизионная приставка 200 и телевизионный приемник 300 соединены через цифровой интерфейс, аналогичный HDMI по проводам или по беспроводному каналу, изобретение может применяться аналогично.
Кроме того, в представленном выше варианте осуществления, система 10 отображения изображения выполнена с устройством 100 широковещательной передачи, телевизионной приставкой 200 и телевизионным приемником 300. Однако, система 10А отображения изображения может быть выполнена с устройством 100 широковещательной передачи и телевизионным приемником 300, как представлено на фиг. 29.
Кроме того, в представленном выше варианте осуществления, контейнер представляет собой транспортный поток (MPEG 2 TS). Однако, настоящая технология аналогично может применяться даже в системе, в которой доставка выполняется через контейнер МР4 или в любом другом формате. Например, существует система доставки потока на основе MPEG-DASH, система приемопередатчика, которая работает с потоком передачи структуры транспортирования мультимедийных данных MPEG (ММТ) и т.п.
(1) Устройство передачи, включающее в себя:
модуль передачи для передачи контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные; и
модуль вставки информации для вставки информации идентификации, указывающей, что метаданные вставлены в аудиопоток на уровне контейнера.
(2) Устройство передачи по (1),
в котором метаданные включают в себя информацию доступа к сети.
(3) Устройство передачи по (2),
в котором информация доступа к сети представляет собой информацию доступа к сети, используемую для получения мультимедийной информации, относящейся к данным изображения, включенным в видеопоток, включенный в контейнер, из сервера по сети.
(4) Устройство передачи по (1),
в котором метаданные включают в себя информацию управления воспроизведением мультимедийной информации.
(5) Устройство передачи по (4),
в котором мультимедийная информация представляет собой мультимедийную информацию, относящуюся к данным изображения, включенным в поток видеоданных, включенный в контейнер.
(6) Устройство передачи по любому из (1)-(5),
в котором информацию схемы кодирования аудиоданных аудиопотока добавляют к информации идентификации.
(7) Устройство передачи по любому из (1)-(6),
в котором информацию типа, идентифицирующую тип метаданных, добавляют к информации идентификации.
(8) Устройство передачи по любому из (1)-(7),
в котором информацию флага, указывающую, вставлены ли метаданные только в аудиопоток, добавляют к информации идентификации.
(9) Устройство передачи по любому из (1)-(8),
в котором информацию типа, указывающую тип частоты вставки метаданных в аудиопоток, добавляют к информации идентификации.
(10) Способ передачи, включающий в себя:
этап передачи, на котором передают с помощью модуля передачи контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные; и этап вставки информации, на котором вставляют информацию идентификации, указывающую, что метаданные вставлены в аудиопоток на уровне контейнера.
(11) Устройство приема, включающее в себя:
модуль приема для приема контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные, при этом информация идентификации, указывающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера; и
модуль передачи для передачи аудиопотока на внешнее устройство через заданный путь передачи вместе с информацией идентификации, указывающей, что метаданные вставлены в упомянутый аудиопоток.
(12) Устройство приема по (11),
в котором модуль передачи выполнен с возможностью передачи аудиопотока и информации идентификации на внешнее устройство посредством вставки аудиопотока и информации идентификации в период времени гашения обратного хода луча данных изображения, полученных посредством декодирования потока видеоданных, содержащегося в контейнере, и передачи данных изображения на внешнее устройство.
(13) Устройство приема по (11) или (12),
в котором заданный путь передачи представляет собой кабель мультимедийного интерфейса высокой четкости (HDMI).
(14) Способ приема, включающий в себя:
этап приема, на котором принимают, с помощью модуля приема, контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные, при этом информация идентификации, указывающая, что метаданные вставлены в аудиопоток, вставлена в уровень контейнера; и
этап передачи, на котором передают аудиопоток на внешнее устройство через заданный маршрут передачи вместе с информацией идентификации, указывающей, что метаданные вставлены в аудиопоток.
(15) Устройство приема, включающее в себя:
модуль приема для приема аудиопотока от внешнего устройства через заданный маршрут передачи вместе с информацией идентификации, указывающей, что метаданные вставлены в аудиопоток;
модуль выделения метаданных для декодирования аудиопотока на основе информации идентификации и выделения метаданных; и
модуль обработки для осуществления обработки с использованием метаданных.
(16) Устройство приема по (15), дополнительно включающее в себя,
модуль интерфейса, выполненный с возможностью передачи аудиопотока в систему внешнего громкоговорителя.
(17) Устройство приема по (15) или (16),
в котором заданный маршрут передачи представляет собой кабель мультимедийного интерфейса высокой четкости (HDMI).
(18) Устройство приема по любому из (15) - (17),
в котором метаданные включают в себя информацию доступа к сети, а
модуль обработки выполнен с возможностью обращения к заданному серверу по сети на основе информации доступа к сети и получения заданной мультимедийной информации.
(19) Способ приема, включающий в себя:
этап приема, на котором принимают с помощью модуля приема аудиопоток, от внешнего устройства, через заданный маршрут передачи, вместе с информацией идентификации, указывающей, что метаданные вставлены в аудиопоток;
этап выделения метаданных, на котором осуществляют декодирование аудиопотока на основе информации идентификации и выделяют метаданные; и
этап обработки, на котором выполняют обработку, с использованием метаданных.
(20) Устройство приема, включающее в себя:
модуль приема для приема контейнера заданного формата, включающего в себя аудиопоток в который вставлены метаданные, при этом информация идентификации, указывающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера; и
модуль выделения метаданных для декодирования аудиопотока на основе информации идентификации и выделения метаданных; и
модуль обработки для выполнения обработки с использованием метаданных.
Одно из основных свойств настоящей технологии состоит в том, что метаданные вставляют в аудиопоток, и информацию идентификации, указывающую, что метаданные вставлены в аудиопоток, вставляют на уровне контейнера, и, таким образом, на стороне приема, возможно легко распознать, что метаданные вставлены в аудиопоток (см. фиг. 19).
Список номеров ссылочных позиций
10, 10А Система отображения изображения
14 Период эффективного пикселя
15 Период времени гашения горизонтального обратного хода луча
16 Период времени гашения вертикального обратного хода луча
17 Период видеоданных
18 Период острова данных
19 Период управления
81 Передатчик HDMI
82 Приемник HDMI
83 DDC
84 Линия CEC
85 EDID ROM
100 Устройство широковещательной передачи
110 Модуль генерирования потока
111 Модуль управления 111а CPU
112 Видеокодер
113 Аудиокодер
113а Модуль блока кодирования аудиоданных
113b Модуль формирования аудиофреймов
114 Мультиплексор
200 Телевизионная приставка (STB)
203 Антенный разъем
204 Цифровой тюнер
205 Демультиплексор
206 Видеодекодер
207 Модуль формирования аудиофреймов
208 Модуль передачи HDMI
209 Терминал HDMI
211 CPU
212 Флэш-ROM
213 DRAM
214 Внутренняя шина
215 Модуль приема дистанционного управления
216 Передатчик контроллера дистанционного управления
300 Телевизионный приемник
305 Антенный терминал
306 Цифровой тюнер
307 Демультиплексор
308 Видеодекодер
309 Схема обработки видеоданных
310 Схема управления панелью
311 Панель отображения
312 Аудиодекодер
313 Схема обработки аудиоданных
314 Схема усиления звука
315 Громкоговоритель
316 Разъем HDMI
317 Модуль приема HDMI
318 Интерфейс связи
321 CPU
322 Флэш-ROM
323 DRAM
324 Внутренняя шина
325 Модуль приема дистанционного управления
326 Передатчик контроллера дистанционного управления
350 Система внешнего громкоговорителя
400 Кабель HDMI

Claims (32)

1. Устройство передачи, содержащее:
модуль передачи для передачи контейнера заданного формата, включающего в себя аудиопоток, в который вставлены метаданные; и
модуль вставки информации для вставки информации идентификации, указывающей, что метаданные вставлены в аудиопоток на уровне контейнера; при этом
метаданные включают в себя информацию доступа к сети.
2. Устройство передачи по п. 1, в котором
информация доступа к сети представляет собой информацию доступа к сети, используемую для получения мультимедийной информации, относящейся к данным изображения, содержащимся в видеопотоке, включенном в контейнер, из сервера по сети.
3. Устройство передачи по п. 1, в котором
метаданные включают в себя информацию управления воспроизведением мультимедийной информации.
4. Устройство передачи по п. 3, в котором
мультимедийная информация представляет собой мультимедийную информацию, относящуюся к данным изображения, включенным в поток видеоданных, включенный в контейнер.
5. Устройство передачи по п. 1, в котором
информация схемы кодирования аудиоданных аудиопотока добавлена к информации идентификации.
6. Устройство передачи по п. 1, в котором
информация типа, идентифицирующая тип метаданных, добавлена к информации идентификации.
7. Устройство передачи по п. 1, в котором
информация флага, указывающая, вставлены ли метаданные только в аудиопоток, добавлена к информации идентификации.
8. Устройство передачи по п. 1, в котором
информацию типа, указывающую тип частоты вставки метаданных в аудиопоток, добавляют к информации идентификации.
9. Способ передачи, содержащий:
этап передачи, на котором передают с помощью модуля передачи контейнер заданного формата, включающий в себя аудиопоток, в который вставлены метаданные; и
этап вставки информации, на котором вставляют информацию идентификации, указывающую, что метаданные вставлены в аудиопоток на уровне контейнера; при этом
метаданные включают в себя информацию доступа к сети.
10. Способ приема, содержащий:
этап приема, на котором принимают с помощью модуля приема аудиопоток от внешнего устройства через заданный маршрут передачи, вместе с информацией идентификации, указывающей, что метаданные вставлены в аудиопоток;
этап выделения метаданных, на котором декодируют аудиопоток на основе информации идентификации и выделяют метаданные; и
этап обработки, на котором осуществляют обработку с использованием метаданных; при этом
метаданные включают в себя информацию доступа к сети.
11. Устройство приема, содержащее:
модуль приема для приема контейнера заданного формата, включающего в себя аудиопоток в который вставлены метаданные, при этом информация идентификации, указывающая, что метаданные вставлены в аудиопоток, вставлена на уровне контейнера; и
модуль выделения метаданных для декодирования аудиопотока на основе информации идентификации и выделения метаданных; и
модуль обработки для осуществления обработки с использованием метаданных; при этом
метаданные включают в себя информацию доступа к сети.
RU2016108851A 2014-07-18 2015-07-09 Устройство передачи, способ передачи, устройство приема и способ приема RU2687065C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-147308 2014-07-18
JP2014147308 2014-07-18
PCT/JP2015/069781 WO2016009944A1 (ja) 2014-07-18 2015-07-09 送信装置、送信方法、受信装置および受信方法

Publications (3)

Publication Number Publication Date
RU2016108851A RU2016108851A (ru) 2017-09-14
RU2016108851A3 RU2016108851A3 (ru) 2018-11-01
RU2687065C2 true RU2687065C2 (ru) 2019-05-07

Family

ID=55078438

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016108851A RU2687065C2 (ru) 2014-07-18 2015-07-09 Устройство передачи, способ передачи, устройство приема и способ приема

Country Status (9)

Country Link
US (2) US10313720B2 (ru)
EP (1) EP3171605B1 (ru)
JP (1) JP6607183B2 (ru)
KR (1) KR102396133B1 (ru)
CN (1) CN105532009B (ru)
CA (1) CA2923532C (ru)
MX (1) MX367005B (ru)
RU (1) RU2687065C2 (ru)
WO (1) WO2016009944A1 (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211200B (zh) * 2015-02-13 2020-04-17 三星电子株式会社 用于发送/接收媒体数据的方法和设备
US11223857B2 (en) 2015-06-02 2022-01-11 Sony Corporation Transmission device, transmission method, media processing device, media processing method, and reception device
US10397663B2 (en) * 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
US10594758B2 (en) * 2017-12-15 2020-03-17 Cisco Technology, Inc. Latency reduction by sending audio and metadata ahead of time
GB2577045A (en) * 2018-09-11 2020-03-18 Nokia Technologies Oy Determination of spatial audio parameter encoding
EP4440122A1 (en) * 2021-12-06 2024-10-02 LG Electronics Inc. Tv and method for controlling same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2146499A1 (en) * 1997-11-14 2010-01-20 Sony Deutschland Gmbh Distribution of MPEG-2 transport streams on the IEEE 1394-based home network
JP2011223353A (ja) * 2010-04-09 2011-11-04 Toshiba Corp デジタル放送のデータ送出方法
US20110292173A1 (en) * 2010-05-26 2011-12-01 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and transmission/reception system
US20120253826A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Transmitting device, transmitting method, receiving device, receiving method, program, and broadcasting system
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム
RU2519817C2 (ru) * 2009-09-23 2014-06-20 Самсунг Электроникс Ко., Лтд. Способ и система для беспроводной передачи аудиоданных в беспроводных сетях

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829368B2 (en) 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
EP0986903B1 (en) * 1997-06-06 2003-05-07 Thomson Consumer Electronics, Inc. System and method for sorting program guide information
US6925577B1 (en) 1997-11-14 2005-08-02 Sony International (Europe) Gmbh Method for recording/storing multiple transport streams by dividing into series of packets
JP3823929B2 (ja) * 2002-05-17 2006-09-20 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツ配信装置、コンテンツ配信方法、並びにコンピュータ・プログラム
KR100565080B1 (ko) 2004-09-13 2006-03-30 삼성전자주식회사 대표 타이틀 정보가 부가된 메타 데이터를 포함한 ａｖ데이터를 기록한 정보저장매체, 그 재생장치 및 메타데이터 검색방법
KR101333846B1 (ko) 2006-11-07 2013-12-19 소니 주식회사 통신 시스템, 송신 장치, 수신 장치, 송신 방법, 수신 방법, 통신 방법, 기록 매체 및 통신 케이블
CN101536518B (zh) 2006-11-07 2012-06-20 索尼株式会社 电子装置、控制信息传输方法和控制信息接收方法
CN102065262B (zh) 2006-11-07 2013-04-03 索尼株式会社 电子装置和控制信息接收方法
JP4479776B2 (ja) * 2007-10-05 2010-06-09 ソニー株式会社 表示装置および送信装置
JP5572929B2 (ja) * 2008-03-05 2014-08-20 ソニー株式会社 送信装置
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US9729762B2 (en) * 2010-10-15 2017-08-08 Thomson Licensing Method for synchronizing multimedia flows and corresponding device
GB2486002A (en) * 2010-11-30 2012-06-06 Youview Tv Ltd Media Content Provision
EP2727383B1 (en) * 2011-07-01 2021-04-28 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
KR20130048035A (ko) * 2011-11-01 2013-05-09 엘지전자 주식회사 미디어 장치, 컨텐츠 서버 및 그 동작방법
KR101998892B1 (ko) * 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
RU2602332C1 (ru) * 2013-01-21 2016-11-20 Долби Лабораторис Лайсэнзин Корпорейшн Перекодировка метаданных
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2146499A1 (en) * 1997-11-14 2010-01-20 Sony Deutschland Gmbh Distribution of MPEG-2 transport streams on the IEEE 1394-based home network
RU2519817C2 (ru) * 2009-09-23 2014-06-20 Самсунг Электроникс Ко., Лтд. Способ и система для беспроводной передачи аудиоданных в беспроводных сетях
JP2011223353A (ja) * 2010-04-09 2011-11-04 Toshiba Corp デジタル放送のデータ送出方法
US20110292173A1 (en) * 2010-05-26 2011-12-01 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and transmission/reception system
US20120253826A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Transmitting device, transmitting method, receiving device, receiving method, program, and broadcasting system
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITU-T H.222.0, Telecommunication Standardization Sector of ITU, Series H: Audiovisual and multimedia systems Infrastructure of audiovisual services - Transmission multiplexing and synchronization, Information technology - Generic coding of moving pictures and associated audio information: Systems, 06/2012. *

Also Published As

Publication number Publication date
US20170127093A1 (en) 2017-05-04
KR102396133B1 (ko) 2022-05-10
CA2923532C (en) 2023-06-27
KR20170032212A (ko) 2017-03-22
EP3171605A4 (en) 2018-03-14
MX2016003223A (es) 2016-06-30
CA2923532A1 (en) 2016-01-21
US20190253740A1 (en) 2019-08-15
EP3171605A1 (en) 2017-05-24
CN105532009B (zh) 2021-03-12
CN105532009A (zh) 2016-04-27
JPWO2016009944A1 (ja) 2017-04-27
EP3171605B1 (en) 2020-10-14
WO2016009944A1 (ja) 2016-01-21
RU2016108851A (ru) 2017-09-14
RU2016108851A3 (ru) 2018-11-01
US10313720B2 (en) 2019-06-04
JP6607183B2 (ja) 2019-11-20
MX367005B (es) 2019-08-02
US10848801B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
RU2687065C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
US11509737B2 (en) Transmission device, transmission method, reception device, and a reception method
EP3306942B1 (en) Transmission device, transmission method, receiving device, and receiving method
EP3306941B1 (en) Transmission device, transmission method, media processing device and media processing method