JPWO2016009944A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2016009944A1
JPWO2016009944A1 JP2016505353A JP2016505353A JPWO2016009944A1 JP WO2016009944 A1 JPWO2016009944 A1 JP WO2016009944A1 JP 2016505353 A JP2016505353 A JP 2016505353A JP 2016505353 A JP2016505353 A JP 2016505353A JP WO2016009944 A1 JPWO2016009944 A1 JP WO2016009944A1
Authority
JP
Japan
Prior art keywords
metadata
audio stream
audio
identification information
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016505353A
Other languages
English (en)
Other versions
JP6607183B2 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016009944A1 publication Critical patent/JPWO2016009944A1/ja
Application granted granted Critical
Publication of JP6607183B2 publication Critical patent/JP6607183B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能とする。メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する。コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。受信側では、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータの取得が可能となる。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、オーディオストリームにメタデータを挿入して送信する送信装置等に関する。
従来、メタデータをオーディオストリームに挿入して送信することが提案されている（例えば、特許文献１参照）。
特開２０１２−０１０３１１号公報
メタデータはオーディオストリームの例えばユーザデータ領域に定義される。しかし、全てのオーディオストリームにメタデータが挿入されるわけではない。
本技術の目的は、オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能として処理の便宜を図ることにある。
本技術の概念は、
メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を挿入する情報挿入部を備える
送信装置にある。
本技術においては、送信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナが送信される。そして、情報挿入部により、コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入される。
例えば、メタデータは、ネットワークアクセス情報を含む、ようにされてもよい。この場合、例えば、ネットワークアクセス情報は、コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報をネットワーク上のサーバから取得するためのネットワークアクセス情報である、ようにされてもよい。
また、例えば、メタデータは、メディア情報の再生制御情報を含む、ようにされてもよい。この場合、例えば、メディア情報は、コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報である、ようにされてもよい。
このように本技術においては、コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入される。そのため、受信側では、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータの取得が可能となる。
なお、本技術において、例えば、識別情報には、オーディオストリームにおける音声データの符号化方式の情報が付加されている、ようにされてもよい。この情報の付加により、受信側では、オーディオストリームにおける音声データの符号化方式を容易に把握できる。
また、本技術において、例えば、識別情報には、メタデータのタイプを示すタイプ情報が付加されている、ようにされてもよい。この情報の付加により、受信側では、メタデータのタイプ、すなわちメタデータがどのようなメタデータであるかを容易に把握でき、例えば取得するか否かの判断を行うことも可能となる。
また、本技術において、例えば、識別情報には、メタデータがオーディオストリームのみに挿入されているか否かを示すフラグ情報が付加されている、ようにされてもよい。この情報の付加により、受信側では、メタデータがオーディオストリームのみに挿入されているか否かを容易に把握できる。
また、本技術において、例えば、識別情報には、オーディオストリームに対するメタデータの挿入頻度のタイプを示すタイプ情報が付加されている、ようにされてもよい。この情報の付加により、受信側では、オーディオストリームに対するメタデータの挿入頻度を容易に把握できる。
また、本技術の他の概念は、
メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報が挿入されており、
上記オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
受信装置にある。
本技術において、受信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナが受信される。コンテナのレイヤには、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。そして、送信部により、オーディオストリームは、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信される。
例えば、送信部は、コンテナが有するビデオストリームをデコードして得られる画像データのブランキング期間にオーディオストリームおよび識別情報を挿入し、この画像データを外部機器に送信することで、オーディオストリームおよび識別情報を外部機器に送信する、ようにされてもよい。この場合、例えば、所定の伝送路は、ＨＤＭＩケーブルである、ようにされてもよい。
このように本技術においては、メタデータが挿入されたオーディオストリームが、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に外部機器に送信される。そのため、外部機器側では、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータの取得が可能となる。
また、本技術の他の概念は、
外部機器から、所定の伝送路を介して、オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信する受信部と、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部を備える
受信装置にある。
本技術において、受信部により、外部機器から、所定の伝送路を介して、オーディオストリームが、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信される。メタデータ抽出部により、識別情報に基づいて、オーディオストリームがデコードされてメタデータが抽出される。そして、処理部により、メタデータを用いた処理が行われる。
例えば、メタデータは、ネットワークアクセス情報を含み、処理部は、ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する、ようにされてもよい。また、例えば、所定の伝送路は、ＨＤＭＩケーブルである、ようにされてもよい。
このように本技術においては、オーディオストリームと共に受信される識別情報に基づいてこのオーディオストリームからメタデータが抽出されて処理に用いられる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
なお、本技術において、例えば、オーディオストリームを、外部スピーカシステムに送信するインタフェース部をさらに備える、ようにされてもよい。この場合、外部スピーカシステムでオーディオストリームをデコードして、外部スピーカシステムで音声を出力することが可能となる。
また、本技術の他の概念は、
メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報が挿入されており、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部を備える
受信装置にある。
本技術において、受信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナが受信される。コンテナのレイヤには、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。データ抽出部により、識別情報に基づいて、オーディオストリームがデコードされてメタデータが抽出される。そして、処理部により、メタデータを用いた処理が行われる。
このように本技術においては、コンテナに挿入されている識別情報に基づいてオーディオストリームからメタデータが抽出されて処理に用いられる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
本技術によれば、オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての画像表示システムの構成例を示すブロック図である。 放送送出装置が備えるストリーム生成部の構成例を示すブロック図である。 ＡＣ３のフレーム（AC3 Synchronization Frame）の構造を示す図である。 ＡＡＣの１０２４サンプル分の音声データが入るフレーム（Raw_data_block）の構造を示す図である。 圧縮フォーマットがＡＣ３の場合にメタデータＭＤが挿入される「ＡＵＸ（AUXILIARY DATA）」のの構成を示す図である。 圧縮フォーマットがＡＡＣの場合にメタデータＭＤが挿入される「ＤＳＥ（data stream element）」の構成を示す図である。 メタデータ汎用シンタクスの一例を説明するための図である。 メタデータ汎用シンタクスの一例を説明するための図である。 メタデータ汎用シンタクスの一例を説明するための図である。 メタデータ汎用シンタクスにおける主要なデータ規定内容を示す図である。 一連のメタデータ（メタデータパケット）を分割して送信する場合における、「metadata_counter」、「metadata_start_flag」の変化例を示す図である。 複数のメタデータが各々の同期対象と同期管理される例を示す図である。 「metadata_linking_Packet()」のシンタクスを示す図である。 「metadata_linking_Packet()」の主要なデータ規定内容を示す図である。 複数のメタデータユニットが各々の同期対象と同期管理される例を示す図である。 オーディオ・ユーザデータ・デスクリプタの構造例を示している。 オーディオ・ユーザデータ・デスクリプタの構造例における主要な情報の内容を示している。 トランスポートストリームおけるビデオ、オーディオのアクセスユニットの配置例と、オーディオストリームに対するメタデータの挿入頻度を説明するための図である。 トランスポートストリームの構成例を示す図である。 画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 データアイランド区間に配置される、オーディオ・インフォフレーム・パケットの構造例を示す図である。 画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 セットトップボックスのＨＤＭＩ送信部と示すテレビ受信機のＨＤＭＩ受信部の構成例を示すブロック図である。 ＴＭＤＳチャネルで画像データが伝送される場合の各種の伝送データの区間を示している。 テレビ受信機におけるメタデータを用いた処理の具体例を説明するための図である。 テレビ受信機でメタデータに基づいてネットサービスにアクセスする場合の画面表示の遷移例を示す図である。 実施の形態におけるテレビ受信機における音声出力系の構成を示すブロック図である。 テレビ受信機における音声出力系の他の構成例を示すブロック図である。 画像表示システムの他の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［画像表示システムの構成例］
図１は、実施の形態としての画像表示システム１０の構成例を示している。この画像表示システム１０は、放送送出装置１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。セットトップボックス２００とテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。なお、「ＨＤＭＩ」は登録商標である。
放送送出装置１００は、トランスポートストリームＴＳを、放送波に載せて送信する。このトランスポートストリームＴＳには、ビデオストリームおよびオーディオストリームが含まれる。放送送出装置１００は、オーディオストリームに、メタデータを挿入する。このメタデータは、例えば、ネットアクセス情報、メディア情報の再生制御情報などである。
放送送出装置１００は、コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。放送送出装置１００は、この識別情報を、例えば、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下のオーディオ・エレメンタリストリーム・ループに内にデスクリプタとして挿入する。
放送送出装置１００は、この識別情報に、オーディオストリームにおける音声データの符号化方式の情報、メタデータのタイプを示すタイプ情報、メタデータが上記オーディオストリームのみに挿入されているか否かを示すフラグ情報、オーディオストリームに対するメタデータの挿入頻度のタイプを示すタイプ情報などを付加する。
セットトップボックス２００は、放送送出装置１００から放送波に載せて送信されてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、ビデオストリームおよびオーディオストリームが含まれており、オーディオストリームにはメタデータが挿入されている。
セットトップボックス２００は、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、ＨＤＭＩケーブル４００を介して、テレビ受信機３００に送信する。
ここで、セットトップボックス２００は、ビデオストリームをデコードして得られた画像データのブランキング期間にオーディオストリームおよび識別情報を挿入し、この画像データをテレビ受信機３００に送信することで、オーディオストリームおよび識別情報をテレビ受信機３００に送信する。セットトップボックス２００は、この識別情報を、例えば、オーディオ・インフォフレーム・パケット（Audio InfoFrame packet）に挿入する。
テレビ受信機３００は、セットトップボックス２００から、ＨＤＭＩケーブル４００を介して、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、受信する。すなわち、テレビ受信機３００は、セットトップボックス２００から、オーディオストリームおよび識別情報がブランキング期間に挿入されている画像データを受信する。テレビ受信機３００は、識別情報に基づいて、オーディオストリームをデコードしてメタデータを抽出し、このメタデータを用いた処理をする。
［放送送出装置のストリーム生成部］
図２は、放送送出装置１００が備えるストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
制御部１１１は、ＣＰＵ１１１ａを備えており、ストリーム生成部１１０の各部を制御する。ビデオエンコーダ１１２は、画像データＳＶに対して、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化を施し、ビデオストリーム（ビデオエレメンタリストリーム）を生成する。画像データＳＶは、例えば、ＨＤＤなどの記録媒体から再生された画像データ、あるいはビデオカメラで得られたライブ画像データなどである。
オーディオエンコーダ１１３は、音声データＳＡに対して、ＡＣ３、ＡＡＣ、ＵＳＡＣなどの圧縮フォーマットによる符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。音声データＳＡは、上述の画像データＳＶに対応した音声データであり、ＨＤＤなどの記録媒体から再生された音声データ、あるいはマイクロホンで得られたライブ音声データなどである。
オーディオエンコーダ１１３は、オーディオ符号化ブロック部１１３ａおよびオーディオフレーミング部１１３ｂを有している。オーディオ符号化ブロック部１１３ａで符号化ブロックが生成され、オーディオフレーミング部１１３ｂでフレーミングが行われる。この場合、圧縮フォーマットにより、符号化ブロックが異なると共に、フレーミングも異なる。
オーディオエンコーダ１１３は、制御部１１１による制御のもと、オーディオストリームに、メタデータＭＤを挿入する。この実施の形態において、メタデータＭＤは、ネットワーク上のサーバに接続するためのネットワークアクセス情報（ＵＲＬ、ネットワークインフォメーション）、サーバ接続後のメディア情報の再生制御情報（start/wait/resume/stop）を含んでいる。例えば、ネットワークアクセス情報は、ビデオストリームに含まれる画像データに関係したメディア情報をネットワーク上のサーバから取得するための情報とされる。ここで、メタデータＭＤは、オーディオストリームのユーザデータ領域に埋め込まれる。
制御部１１１は、オーディオエンコーダ１１３に、メタデータＭＤを供給すると共に、このメタデータＭＤをユーザデータ領域に埋め込むためのサイズ情報を供給する。そして、制御部１１１は、オーディオストリームのユーザデータ領域にメタデータＭＤの埋め込みが行われるように、制御する。
例えば、圧縮フォーマットがＡＣ３の場合、制御部１１１は、サイズＳ＝（frmsizcod−AUXDATA）の情報を、オーディオエンコーダ１１３に供給する。ここで、サイズＳは、ＡＣ３のオーディオフレームのサイズであり、ビットレートおよびサンプリング周波数に応じた値が規定されている。
例えば、ビットレートが１２８kbpsで、サンプリング周波数が３２kHzの場合には、３８４＊２Bytesである。また、例えば、ビットレートが１２８kbpsで、サンプリング周波数が４４．１kHzの場合には、２７９＊２Bytesである。また、例えば、ビットレートが１２８kbpsで、サンプリング周波数が４８kHzの場合には、２５６＊２Bytesである。
図３は、詳細説明は省略するが、ＡＣ３のフレーム（AC3 Synchronization Frame）の構造を示している。オーディオエンコーダ１１３は、サイズＳを目標値として符号化し、「Audblock ５」の“mantissa data”と、「ＡＵＸ」と、「ＣＲＣ」との合計サイズが全体の３／８を超えないように、音声データＳＡをエンコードする。そして、「ＡＵＸ」のエリアにメタデータＭＤを挿入し、ＣＲＣを施してストリームを完成する。
また、例えば、圧縮フォーマットがＡＡＣの場合、制御部１１１は、メタデータＭＤを挿入すべきＤＳＥ（data stream element）のサイズDSE_S＝cntの情報を、オーディオエンコーダ１１３に供給する。図４は、詳細説明は省略するが、ＡＡＣの１０２４サンプル分の音声データが入るフレーム（Raw_data_block）の構造を示している。オーディオエンコーダ１１３は、音声データＳＡをエンコードすると共に、メタデータＭＤが挿入されたＤＳＥを付加して、ストリームを完成する。
なお、オーディオエンコーダ１１３は、２回に分けてエンコードすることも可能である。この場合、オーディオエンコーダ１１３は、最初は通常の、つまりＤＳＥあるいはＡＵＸがない場合のエンコードを行い、その後に予め予約しておいたサイズのＤＳＥあるいはＡＵＸにメタデータＭＤを挿入して、再度エンコードを行う。
上述したように、メタデータＭＤは、オーディオストリームのユーザデータ領域（ＡＣ３の場合は「ＡＵＸ」、ＡＡＣの場合は「ＤＳＥ」）に埋め込まれるが、その詳細については後述する。詳細説明は省略するが、圧縮フォーマットがＵＳＡＣの場合も同様に、メタデータＭＤはオーディオストリームのユーザデータ領域に埋め込まれる。
図２に戻って、マルチプレクサ１１４は、ビデオエンコーダ１１２から出力されるビデオストリームおよびオーディオエンコーダ１１３から出力されるオーディオストリームを、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
また、マルチプレクサ１１４は、プログラムマップテーブル（ＰＭＴ）の配下に、オーディオストリームにメタデータＭＤが挿入されていることを示す識別情報を挿入する。この識別情報の挿入には、オーディオ・ユーザデータ・デスクリプタ（audio_userdata_descriptor）を用いる。このデスクリプタの詳細については後述する。
図２に示すストリーム生成部１１０の動作を簡単に説明する。画像データＳＶはビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データＳＶに対してＨ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。
また、音声データＳＡは、オーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、その音声データＳＡに対して、ＡＣ３、ＡＡＣ、ＵＳＡＣなどの符号化が施され、オーディオストリームが生成される。
この際、制御部１１１からオーディオエンコーダ１１３に、メタデータＭＤが供給されると共に、このメタデータＭＤをユーザデータ領域に埋め込むためのサイズ情報が供給される。そして、オーディオエンコーダ１１３では、オーディオストリームのユーザデータ領域（例えば、ＡＣ３の場合は「ＡＵＸ」、ＡＡＣの場合は「ＤＳＥ」など）に、メタデータＭＤを埋め込むことが行われる。
ビデオエンコーダ１１２で生成されたビデオストリームは、マルチプレクサ１１４に供給される。また、オーディオエンコーダ１１３で生成された、ユーザデータ領域にメタデータＭＤが埋め込まれたオーディオストリームは、マルチプレクサ１１４に供給される。そして、このマルチプレクサ１１４では、各エンコーダから供給されるストリームがパケット化されて多重され、伝送データとしてトランスポートストリームＴＳが得られる。
［メタデータＭＤの埋め込みの詳細］
オーディオストリームのユーザデータ領域へのメタデータＭＤの埋め込みについてさらに説明する。上述したように、圧縮フォーマットがＡＣ３の場合、メタデータＭＤは「ＡＵＸ（AUXILIARY DATA）」の領域に挿入される。
図５は、「ＡＵＸ（AUXILIARY DATA）」の構成（Syntax）を示している。「auxdatae」が“１”のとき、「aux data」がイネーブルされ、「auxdatal」の１４ビット（ビット単位）で示されるサイズのデータが、「auxbits」の中に定義される。その際の「audbits」のサイズは「nauxbits」に記載される。本技術においては、「auzbits」の空間が、「metadata（）」と定義される。
図６は、「ＤＳＥ（data stream element）」の構成（Syntax）を示している。「element_instance_tag」は４ビットで、「data_stream_element」の中のデータ種別を示すが、ＤＳＥを統一したユーザデータとして利用する場合は、この値を“０”としてもよい。「Data_byte_align_flag」は、“１”とされ、ＤＳＥの全体がバイトアラインされるようにする。「count」、あるいは、その追加バイト数を意味する「esc_count」は、ユーザデータのサイズによって適宜、値が決められる。本技術においては、「ｄata_stream_byte」の空間が、「metadata ()」と定義される。
図７〜図９は、メタデータ汎用シンタクス（Syntax）を示している。また、図１０は、メタデータ汎用シンタクスにおける主要なデータ規定内容（semantics）を示している。
「sync_byte」の８ビットフィールドは、メタデータ・コンテナ（metadata container）を示すユニークワードとされる。「metadata_type」の８ビットフィールドは、メタデータのタイプ情報を示す。このタイプ情報により、複数のタイプのメタデータを選択的に送信することが可能となる。例えば、“00000001”は、送信されるメタデータが連携する他サービスのアクセス情報であることを示す。
「metadata_length 」の１１ビットフィールドは、以降のバイト数を示す。「metadata_ID」の３ビットフィールドは、メタデータのタイプ内において種類を識別する識別子を示す。この識別子により、同一タイプの複数種類の情報を同時に送信するこが可能となる。
「metadata_counter」の３ビットフィールドは、一連のメタデータを分割して送信する場合に、何番目の分割情報であるかを示すカウント情報である。このカウント情報はオーディオフレーム毎にインクリメントされるカウンタのカウント値である。「metadata_start_flag」の１ビットフィールドは、一連のメタデータ（メタデータパケット）を分割して送信する場合に、最初の分割情報であるか否かを示す。例えば、“１”は最初の分割情報であることを示し、“０”は最初の分割情報ではなく、前のフレームの分割情報に続く分割情報であることを示す。
図１１は、一連のメタデータ（メタデータパケット）が３分割され、３つの分割情報が３つのオーディオフレームのユーザデータ領域に埋め込まれて送信される場合における、「metadata_counter」、「metadata_start_flag」の変化例を示している。最初のオーディオフレームでは、「metadata_counter=0」、「metadata_start_flag=1」となる。次のオーディオフレームでは、「metadata_counter=1」、「metadata_start_flag=0」となる。さらに、最後のオーディオフレームでは、「metadata_counter=２」、「metadata_start_flag=0」となる。
図７に戻って、「sync_control_flag 」の１ビットフィールドは、メタデータが同期管理されているか否かを示す。“１”は、「PTS_management()」内のＰＴＳによって同期管理されることを示す。“０”は、同期管理されていないことを示す。「sync_control_flag 」が“１”であるとき、「PTS_management()」が存在する。
図８は、「PTS_management()」の構造（Syntax）を示しており、ＰＴＳ[32-0]の３３ビットで示される時間情報が存在する。図１２は、複数のメタデータが各々の同期対象と同期管理される例を示している。この例では、メタデータ（ＩＤ１）はオーディオ ＰＴＳ１と同期し、メタデータ（ＩＤ２）はビデオ ＰＴＳ１と同期し、メタデータ（ＩＤ３）はオーディオ ＰＴＳ２およびビデオ ＰＴＳ２と同期している。
図７に戻って、「metadata_length 」で示されるバイト数分の「data_byte」は、メタデータパケット「Metadata_packet()」の全体、あるいは、このメタデータパケット「Metadata_packet()」を複数個に分割して得られたいずれかの分割情報を構成する。
図９は、メタデータパケット「metadata_packet()」の構成（syntax）を示している。「packet_type」の８ビットフィールドは、メタデータ「metadata()」（図７参照）内の「metadata_type」の８ビットフィールドと同様に、メタデータのタイプ情報を示す。「metadata_packet_length」の１６ビットフィールドは、以降のバイト数を示す。そして、この「metadata_packet_length」で示されるバイト数分の「data_byte」に、メタデータが記載される。
次に、メタデータが他サービスのアクセス情報（Metadata for linking service）である場合の「metadata_packet()」、つまり「metadata_linking_Packet()」について説明する。リンクサービスなどのサーバへの接続の場合、コンテンツあるいはサービスの供給元サーバとして、「http://www/xxx/com/yyy.zzz」の個々の文字は、文字データで「unit_data」になる。また、その他の制御符号は別途定義される約束に基づき、該当符号を「unit_data」に入れる。
図１３は、「metadata_linking_packet()」のシンタクス（Syntax）を示している。また、図１４は、「metadata_linking_packet()」の主要なデータ規定内容（semantics）を示している。「packet_type」の８ビットフィールドは、メタデータのタイプが他サービスアクセス情報であることを示す。「metadata_linking_packet_length」の１６ビットフィールドは、以降のバイト数を示す。「number_of_units」の８ビットフィールドは、メタデータエレメントの数を示す。
「unit_ID」の８ビットフィールドは、ユニット（unit）を識別する識別子を示す。「unit_size」の８ビットフィールドは、メタデータエレメント（metadata_element）のサイズを示す。「extended_size」の８ビットフィールドは、ユニットサイズ（unit_size）の拡張を示す。ユニットサイズ（unit_size）が２５４を超えるときは、unit_size＝２５５として、拡張サイズ（exended_size）を入力する。「unit_data」の８ビットフィールドは、メタデータエレメント（metadata_element）を示す。
図１５は、複数のメタデータユニットが各々の同期対象と同期管理される例を示している。この例で、メタデータ（ＩＤ１）のユニット（Unit_ID1）はＵＲＬによるリンクサーバの指定を行うための情報、メタデータ（ＩＤ１）のユニット（Unit_ID2）は、“Activate”または“Inactivate”を制御するコマンド群である。また、この例で、メタデータ（ＩＤ２）のユニット（Unit_ID1）はＵＲＬによるリンクサーバの指定を行うための情報、メタデータ（ＩＤ２）のユニット（Unit_ID2）は、“Activate”または“Inactivate”などの、リンクサービスに対しての制御をおこなうコマンド群である。
メタデータ（ＩＤ１）のユニット（Unit_ID1）は、オーディオ ＰＴＳ１と同期している。また、メタデータ（ＩＤ１）のユニット（Unit_ID2）は、ビデオ ＰＴＳ１と同期している。また、メタデータ（ＩＤ２）のユニット（Unit_ID1）は、オーディオ ＰＴＳ２およびビデオ ＰＴＳ２と同期している。
［オーディオ・ユーザデータ・デスクリプタの詳細］
図１６は、オーディオ・ユーザデータ・デスクリプタ（audio_userdata_descriptor）の構造例（Syntax）を示している。また、図１７は、その構造例における主要な情報の内容（Semantics）を示している。
「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、オーディオ・ユーザデータ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「audio_codec_type」の８ビットフィールドは、オーディオの符号化方式（圧縮フォーマット）を示す。例えば、“１”は「ＭＰＥＧ４ ＡＡＣ」を示し、“２”は「ＵＳＡＣ」を示し、“３”は「ＡＣ３」を示す。この情報の付加により、受信側では、オーディオストリームにおける音声データの符号化方式を容易に把握できる。
「metadata_type」の３ビットフィールドは、メタデータのタイプを示す。例えば、“１”は、メタデータが連携する他サービスのアクセス情報であることを示す。この情報の付加により、受信側では、メタデータのタイプ、すなわちメタデータがどのようなメタデータであるかを容易に把握でき、例えば取得するか否かの判断を行うことも可能となる。
「coordinated_control_flag」の１ビットフラグ情報は、メタデータがオーディオストリームのみに挿入されているか否かを示す。例えば、“１”は他のコンポーネントのストリームにも挿入されていることを示し、“０”はオーディオストリームのみに挿入されていることを示す。この情報の付加により、受信側では、メタデータがオーディオストリームのみに挿入されているか否かを容易に把握できる。
「frequency_type」の３ビットフィールドは、オーディオストリームに対するメタデータの挿入頻度のタイプを示す。例えば、“１”は各オーディオアクセスユニットに一つのユーザデータ（メタデータ）が挿入されていることを示す。“２”は一つのオーディオアクセスユニットに一つ以上のユーザデータ（メタデータ）が挿入されていることを示す。さらに、“３”はランダムアクセスポイントを含むグループ毎に、その先頭のオーディオアクセスユニットに少なくとも一つのユーザデータ（メタデータ）が挿入されていることを示す。この情報の付加により、受信側では、オーディオストリームに対するメタデータの挿入頻度を容易に把握できる。
図１８（ａ）は、トランスポートストリームＴＳおけるビデオ、オーディオのアクセスユニットの配置例を示している。「ＶＡＵ」は、ビデオアクセスユニットを示している。「ＡＡＵ」は、オーディオアクセスユニットを示している。図１８（ｂ）は、「frequency_type = 1」である場合であって、各オーディオアクセスユニットに一つのユーザデータ（メタデータ）が挿入されていることを示している。
図１８（ｃ）は、「frequency_type = 2」である場合であって、各オーディオアクセスユニットに一つのユーザデータ（メタデータ）が挿入されていることを示している。一つのオーディオアクセスユニットに一つ以上のユーザデータ（メタデータ）が挿入されていることを示している。図１８（ｄ）は、「frequency_type = 3」である場合であって、ランダムアクセスポイントを含むグループ毎に、その先頭のオーディオアクセスユニットに少なくとも一つのユーザデータ（メタデータ）が挿入されていることを示している。
[トランスポートストリームＴＳの構成]
図１９は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES」が存在すると共に、ＰＩＤ２で識別されるオーディオストリームのＰＥＳパケット「audio PES」が存在する。ＰＥＳパケットは、ＰＥＳヘッダ（PES_header）とＰＥＳペイロード（PES_payload）からなっている。ＰＥＳヘッダには、ＤＴＳ，ＰＴＳのタイムスタンプが挿入されている。オーディオストリームのＰＥＳパケットのＰＥＳペイロードにはメタデータを含むユーザデータ領域が存在する。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。
また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ（video ES loop）が存在すると共に、オーディオストリームに対応したオーディオエレメンタリストリーム・ループ（audio ES loop）が存在する
ビデオエレメンタリストリーム・ループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「０ｘ２４」に設定され、ＰＩＤ情報は、上述したようにビデオストリームのＰＥＳパケット「video PES」に付与されるＰＩＤ１を示すものとされる。デスクリプタの一つして、ＨＥＶＣ デスクリプタが配置される。
また、オーディオエレメンタリストリーム・ループ（audio ES loop）には、オーディオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。このオーディオストリームの「Stream_type」の値は「０ｘ１１」に設定され、ＰＩＤ情報は、上述したようにオーディオストリームのＰＥＳパケット「audio PES」に付与されるＰＩＤ２を示すものとされる。デスクリプタの一つとして、上述したオーディオ・ユーザデータ・デスクリプタ（audio_userdata_descriptor）が配置される。
［セットトップボックスの構成例］
図２０は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、アンテナ端子２０３と、デジタルチューナ２０４と、デマルチプレクサ２０５と、ビデオデコーダ２０６と、オーディオフレーミング部２０７と、ＨＤＭＩ送信部２０８と、ＨＤＭＩ端子２０９を有している。また、セットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームＴＳを出力する。
デマルチプレクサ２０５は、トランスポートストリームＴＳからビデオストリームのパケットを抽出し、ビデオデコーダ２０６に送る。ビデオデコーダ２０６は、デマルチプレクサ２０５で抽出されたビデオのパケットからビデオストリームを再構成し、復号化処理を行って非圧縮の画像データを得る。また、デマルチプレクサ２０５は、トランスポートストリームＴＳからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。オーディオフレーミング部２０７は、このように再構成されたオーディオストリームに対してフレーミングを行う。
また、デマルチプレクサ２０５は、トランスポートストリームＴＳから各種デスクリプタなどを抽出し、ＣＰＵ２１１に送信する。ここで、デスクリプタには、オーディオストリームにメタデータが挿入されていることを示す識別情報としてのオーディオ・ユーザデータ・デスクリプタ（図１６参照）も含まれる。
ＨＤＭＩ送信部２０８は、ＨＤＭＩに準拠した通信により、ビデオデコーダ２０６で得られた非圧縮の画像データと、オーディオフレーミング部２０７でフレーミングされた後のオーディオストリームを、ＨＤＭＩ端子２０９から送出する。ＨＤＭＩ送信部２０８は、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよびオーディオストリームをパッキングして、ＨＤＭＩ端子２０９に出力する。
ＨＤＭＩ送信部２０８は、ＣＰＵ２１１の制御のもと、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。ＨＤＭＩ送信部２０８は、オーディオストリームおよび識別情報を画像データのブランキング期間に挿入する。このＨＤＭＩ送信部２０９の詳細は後述する。
この実施の形態において、ＨＤＭＩ送信部２０８は、画像データのブランキング期間に配置されるオーディオ・インフォフレーム・パケット（Audio InfoFrame packet）に識別情報を挿入する。このオーディオ・インフォフレーム・パケットは、データアイランド区間に配置される。
図２１は、オーディオ・インフォフレーム・パケットの構造例を示している。ＨＤＭＩでは、このオーディオ・インフォフレーム・パケットにより、音声に関する付帯情報をソース機器からシンク機器に伝送可能となっている。
第０バイトにデータパケットの種類を示す「Packet Type」が定義されており、オーディオ・インフォフレーム・パケットは「0x84」となっている。第１バイトにパケットデータ定義のバージョン情報を記述する。第２バイトに、パケット長を表す情報を記述する。
この実施の形態では、第５バイトの第５ビットに、「userdata_presence_flag」の１ビットフラグ情報が定義される。このフラグ情報が“１”であるとき、第９バイトに識別情報が定義される。第７ビットから第５ビットは「metadata_type」のフィールドとされ、第４ビットは「coordinated_control_flag」のフィールドとされ、第２ビットから第０ビットは「frequency_type」のフィールドとされる。詳細説明は省略するが、これらの各フィールドは、図１６に示すオーディオ・ユーザデータ・デスクリプタにおける各フィールドと同じ情報を示す。
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームＴＳが出力される。
デジタルチューナ２０４から出力されるトランスポートストリームＴＳは、デマルチプレクサ２０５に供給される。このデマルチプレクサ２０５では、トランスポートストリームＴＳからビデオのエレメンタリストリームのパケットが抽出され、ビデオデコーダ２０６に送られる。
ビデオデコーダ２０６では、デマルチプレクサ２０５で抽出されたビデオのパケットからビデオストリームが再構成された後、そのビデオストリームに対してデコード処理が行われて、画像データが得られる。この画像データは、ＨＤＭＩ送信部２０８に供給される。
また、デマルチプレクサ２０５では、トランスポートストリームＴＳからオーディオストリームのパケットが抽出され、オーディオストリームが再構成される。このオーディオストリームはオーディオフレーミング部２０７でフレーミングされた後に、ＨＤＭＩ送信部２０８に供給される。そして、ＨＤＭＩ送信部２０８では、画像データおよびオーディオストリームがパッキングされ、ＨＤＭＩ端子２０９からＨＤＭＩケーブル４００に送出される。
また、デマルチプレクサ２０５では、トランスポートストリームＴＳから各種デスクリプタなどが抽出され、ＣＰＵ２１１に送られる。ここで、デスクリプタには、オーディオ・ユーザデータ・デスクリプタも含まれ、ＣＰＵ２１１は、このデスクリプタに基づいて、オーディオストリームにメタデータが挿入されていることを把握する。
ＨＤＭＩ送信部２０８では、ＣＰＵ２１１の制御のもと、画像データのブランキング期間に配置されるオーディオ・インフォフレーム・パケットに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入される。これにより、セットトップボックス２００からＨＤＭＩテレビ受信機３００に、オーディオストリームにメタデータが挿入されていることを示す識別情報を送信することが行われる。
［テレビ受信機の構成例］
図２２は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、アンテナ端子３０５と、デジタルチューナ３０６と、デマルチプレクサ３０７と、ビデオデコーダ３０８と、映像処理回路３０９と、パネル駆動回路３１０と、表示パネル３１１を有している。
また、テレビ受信機３００は、オーディオデコーダ３１２と、音声処理回路３１３と、音声増幅回路３１４と、スピーカ３１５と、ＨＤＭＩ端子３１６と、ＨＤＭＩ受信部３１７と、通信インタフェース３１８を有している。また、テレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
通信インタフェース３１８は、ＣＰＵ３２１の制御のもと、インターネット等のネットワーク上に存在するサーバとの間で通信を行う。この通信インタフェース３１８は、内部バス３２４に接続されている。
アンテナ端子３０５は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０６は、アンテナ端子３０５に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームＴＳを出力する。
デマルチプレクサ３０７は、トランスポートストリームＴＳからビデオストリームのパケットを抽出し、ビデオデコーダ３０８に送る。ビデオデコーダ３０８は、デマルチプレクサ３０７で抽出されたビデオのパケットからビデオストリームを再構成し、復号化処理を行って非圧縮の画像データを得る。
また、デマルチプレクサ２０５は、トランスポートストリームＴＳからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。また、デマルチプレクサ３０７は、トランスポートストリームＴＳから各種デスクリプタなどを抽出し、ＣＰＵ３２１に送信する。ここで、このデスクリプタには、オーディオストリームにメタデータが挿入されていることを示す識別情報としてのオーディオ・ユーザデータ・デスクリプタ（図１６参照）も含まれる。ビデオデコーダ３０８は、デマルチプレクサ３０７で抽出されたビデオのパケットからビデオストリームを再構成し、復号化処理を行って非圧縮の画像データを得る。
ＨＤＭＩ受信部３１７は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３１６に供給される画像データおよびオーディオストリームを受信する。また、ＨＤＭＩ受信部３１７は、画像データのブランキング期間に挿入されている種々の制御情報を抽出し、ＣＰＵ３２１に送信する。ここで、この制御情報には、オーディオ・インフォフレーム・パケットに挿入された、オーディオストリームにメタデータが挿入されていることを示す識別情報（図２１参照）も含まれる。このＨＤＭＩ受信部３１７の詳細は後述する。
映像処理回路３０９は、ビデオデコーダ３０８で得られた、あるいはＨＤＭＩ受信部３１６で得られた画像データ、さらには、通信インタフェース３１８でネット上のサーバから受信された画像データなどに対してスケーリング処理、合成処理などを行って、表示用の画像データを得る。
パネル駆動回路３１０は、映像処理回路３０９で得られる表示用の画像データに基づいて、表示パネル３１１を駆動する。表示パネル３１１は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
オーディオデコーダ３１２は、デマルチプレクサ３０７で得られた、あるいはＨＤＭＩ受信部３１７で得られたオーディオストリームに対して復号化処理を行って非圧縮の音声データを得る。また、オーディオデコーダ３１２は、オーディオストリームに挿入されているメタデータを抽出し、ＣＰＵ３２１に送信する。ＣＰＵ３２１は、適宜、テレビ受信機３００の各部にメタデータを用いた処理を行わせる。
音声処理回路３１３は、オーディオデコーダ３１２で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１４は、音声処理回路３１３から出力される音声信号を増幅してスピーカ３１５に供給する。
図２２に示すテレビ受信機３００の動作を簡単に説明する。アンテナ端子３０５に入力されたテレビ放送信号はデジタルチューナ３０６に供給される。このデジタルチューナ３０６では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームＴＳが得られる。
デジタルチューナ３０６で得られるトランスポートストリームＴＳは、デマルチプレクサ３０７に供給される。デマルチプレクサ３０７では、トランスポートストリームＴＳからビデオストリームのパケットが抽出され、ビデオデコーダ３０８に供給される。ビデオデコーダ３０８では、デマルチプレクサ３０７で抽出されたビデオのパケットからビデオストリームが再構成され、復号化処理が行われて、非圧縮の画像データが得られる。この画像データは、映像処理回路３０９に供給される。
また、デマルチプレクサ３０７では、トランスポートストリームＴＳからオーディオストリームのパケットが抽出され、オーディオストリームが再構成される。このオーディオストリームは、オーディオデコーダ３１２に供給される。また、デマルチプレクサ３０７では、トランスポートストリームＴＳから各種デスクリプタなどが抽出され、ＣＰＵ３２１に送られる。
このデスクリプタには、オーディオストリームにメタデータが挿入されていることを示す識別情報としてのオーディオ・ユーザデータ・デスクリプタも含まれる。そのため、ＣＰＵ３２１は、この識別情報に基づいて、オーディオデコーダ３１２の動作を制御し、オーディオストリームからメタデータを抽出させることが可能となる。
ＨＤＭＩ受信部３１７では、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３１６に供給される画像データおよびオーディオストリームが受信される。画像データは、映像処理回路３０９に供給される。また、オーディオストリームはオーディオデコーダ３１２に供給される。
また、ＨＤＭＩ受信部３１７では、画像データのブランキング期間に挿入されている種々の制御情報が抽出され、ＣＰＵ３２１に送られる。この制御情報には、オーディオ・インフォフレーム・パケットに挿入された、オーディオストリームにメタデータが挿入されていることを示す識別情報も含まれる。そのため、ＣＰＵ３２１は、この識別情報に基づいて、オーディオデコーダ３１２の動作を制御し、オーディオストリームからメタデータを抽出させることが可能となる。
映像処理回路３０９では、ビデオデコーダ３０８で得られた、あるいはＨＤＭＩ受信部３１７で得られた画像データ、さらには、通信インタフェース３１８でネット上のサーバから受信された画像データなどに対してスケーリング処理、合成処理などが施され、表示用の画像データが得られる。ここで、テレビ放送信号を受信して処理する場合は、映像処理回路３０９では、ビデオデコーダ３０８で得られた画像データが取り扱われる。一方、セットトップボックス２００がＨＤＭＩインタフェースで接続される場合は、映像処理回路３０９では、ＨＤＭＩ受信部３１７で得られた画像データが取り扱われる。
映像処理回路３０９で得られた表示用の画像データはパネル駆動回路３１０に供給される。パネル駆動回路３１０では、表示用の画像データに基づいて、表示パネル３１１を駆動することが行われる。これにより、表示パネル３１１には、表示用の画像データに対応した画像が表示される。
オーディオデコーダ３１２では、デマルチプレクサ３０７で得られた、あるいはＨＤＭＩ受信部３１６で得られたオーディオストリームに対して復号化処理が行われて非圧縮の音声データが得られる。ここで、テレビ放送信号を受信して処理する場合は、オーディオデコーダ３１２では、デマルチプレクサ３０７で得られたオーディオストリームが取り扱われる。一方、セットトップボックス２００がＨＤＭＩインタフェースで接続される場合は、オーディオデコーダ３１２では、ＨＤＭＩ受信部３１７で得られたオーディオストリームが取り扱われる。
オーディオデコーダ３１２で得られる音声データは、音声処理回路３１３に供給される。音声処理回路３１３では、音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１４で増幅された後に、スピーカ３１５に供給される。そのため、スピーカ３１５から、表示パネル３１１の表示画像に対応した音声が出力される。
また、オーディオデコーダ３１２では、オーディオストリームに挿入されているメタデータが抽出される。例えば、このメタデータの抽出処理は、上述したように、ＣＰＵ３２１が、オーディオストリームにメタデータが挿入されていることを識別情報に基づいて把握して、オーディオデコーダ３１２の動作を制御することで、無駄なく確実に行われる。
このようにオーディオデコーダ３１２で抽出されるメタデータは、ＣＰＵ３２１に送られる。そして、ＣＰＵ３２１の制御により、適宜、テレビ受信機３００の各部でメタデータを用いた処理が行われる。例えば、ネットワーク上のサーバから画像データを取得して、マルチ画面表示が行われる。
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図２３は、図２０に示すセットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０８と、図２２に示すテレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３１７の構成例を示している。
ＨＤＭＩ送信部２０８は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１７に一方向に送信する。ここで、有効画像区間は、ある垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０８は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１７に一方向に送信する。
ＨＤＭＩ送信部２０８とＨＤＭＩ受信部３１７とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０８からＨＤＭＩ受信部３１７に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
ＨＤＭＩ送信部２０８は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１７に、一方向にシリアル伝送する。
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３１７に、一方向にシリアル伝送する。
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１７に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
ＨＤＭＩ受信部３１７は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０８から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３１７は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０８から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、ＨＤＭＩ受信部３１７は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０８から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０８からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０８が、ＨＤＭＩ受信部３１７から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
ＨＤＭＩ受信部３１７は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０８は、例えば、ＣＰＵ２１１（図２０参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１７から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
ＨＤＭＩ送信部２０８は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０８とＨＤＭＩ受信部３１７との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
図２４は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、ビデオデータ区間１７（Video Data Period）、データアイランド区間１８（Data Island Period）、およびコントロール区間１９（Control Period）の３種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（Active Edge）から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間１５（Horizontal Blanking）、垂直帰線期間１６（Vertical Blanking）、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間１４（Active Video）に分けられる。
ビデオデータ区間１７は、有効画素区間１４に割り当てられる。このビデオデータ区間１７では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active Pixel）のデータが伝送される。データアイランド区間１８およびコントロール区間１９は、水平帰線期間１５および垂直帰線期間１６に割り当てられる。このデータアイランド区間１８およびコントロール区間１９では、補助データ（Auxiliary Data）が伝送される。
すなわち、データアイランド区間１８は、水平帰線期間１５と垂直帰線期間１６の一部分に割り当てられている。このデータアイランド区間１８では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間１９は、水平帰線期間１５と垂直帰線期間１６の他の部分に割り当てられている。このコントロール区間１９では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
次に、図２５を参照して、テレビ受信機３００におけるメタデータを用いた処理の具体例を説明する。テレビ受信機３００は、例えば、メタデータとして、初期サーバＵＲＬ、ネットワーク・サービス識別情報、対象ファイル名、セッション開始・終了コマンド、メディア記録・再生コマンドなどを取得する。
ネットワーククライアントであるテレビ受信機３００は、初期サーバＵＲＬを用いて、プライマリサーバにアクセスする。そして、テレビ受信機３００は、プライマリサーバから、ストリーミングサーバＵＲＬ、対象ファイル名、ファイルのタイプを示すマイムタイプ、メディア再生時間情報などの情報を取得する。
そして、テレビ受信機３００は、ストリーミングサーバＵＲＬを用いて、ストリーミングサーバにアクセスする。そして、テレビ受信機３００は、対象ファイル名を指定する。ここで、マルチキャストでのサービスを受ける場合は、ネットワーク識別情報とサービス識別情報で番組のサービスを特定する。
そして、テレビ受信機３００は、セッション開始・終了コマンドにより、ストリーミングサーバとの間のセッションを開始し、あるいはそのセッションを終了する。また、テレビ受信機３００は、ストリーミングサーバとの間のセッション続行中に、メディア記録・再生コマンドを用いて、ストリーミングサーバからメディアデータを取得する。
なお、図２５の例では、プライマリサーバとストリーミングサーバとが別個に存在している。しかし、これらのサーバは、一体的に構成されていてもよい。
図２６は、テレビ受信機３００でメタデータに基づいてネットサービスにアクセスする場合の画面表示の遷移例を示している。図２６（ａ）は、表示パネル３１１に画像が表示されていない状態を示す。図２６（ｂ）は、放送受信が開始され、この放送受信に係るメインコンテンツが、表示パネル３１１に、全画面表示されている状態を示す。
図２６（ｃ）は、メタデータによるサービスへのアクセスがあり、テレビ受信機３００とサーバとの間のセッションが開始された状態を示す。この場合、放送受信に係るメインコンテンツが全画面表示から部分画面表示となる。
図２６（ｄ）は、サーバからのメディア再生が行われ、表示パネル３１１に、メインコンテンツの表示と並行して、ネットサービスコンテンツ１が表示された状態を示す。そして、図２６（ｅ）は、サーバからのメディア再生が行われ、表示パネル３１１に、メインコンテンツの表示と並行して、サネットサービスコンテンツ１の表示と共に、ネットサービスコンテンツ２がメインコンテンツ表示上に重畳表示された状態を示す。
図２６（ｆ）は、ネットからのサービスコンテンツの再生が終了し、テレビ受信機３００とサーバとの間のセッションが終了した状態を示す。この場合、表示パネル３１１に、放送受信に係るメインコンテンツが全画面表示される状態に戻る。
なお、図２２に示すテレビ受信機３００は、スピーカ３１４を備え、図２７に示すように、オーディオデコーダ３１２で得られた音声データが音声処理回路３１３および音声増幅回路３１４を介してスピーカ３１５に供給され、このスピーカ３１５から音声が出力される構成とされている。
しかし、図２８に示すように、テレビ受信機３００はスピーカを備えず、デマルチプレクサ３０７あるいはＨＤＭＩ受信部３１７で得られるオーディオストリームをインタフェース部３３１から外部スピーカシステム３５０に供給する構成も考えられる。インタフェース部３３１は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）、ＳＰＤＩＦ（Sony Philips Digital Interface）、ＭＨＬ(Mobile High-definition Link）などのデジタルインタフェースである。
この場合、オーディオストリームは、外部スピーカシステム３５０が有するオーディオデコーダ３５１ａで復号化処理が行われ、この外部スピーカシステム３５０から音声が出力される。なお、テレビ受信機３００がスピーカ３１５を備える場合（図２７参照）であっても、オーディオストリームをインタフェース部３３１から外部スピーカシステム３５０に供給する構成（図２８参照）もさらに考えられる。
上述したように、図１に示す画像表示システム１０において、放送送出装置１００は、オーディオストリームにメタデータを挿入すると共に、オーディオストリームにメタデータが挿入されていることを示す識別情報をコンテナのレイヤに挿入する。そのため、受信側（セットトップボックス２００、テレビ受信機３００）では、オーディオストリームにメタデータが挿入されていることを容易に認識できる。
また、図１に示す画像表示システム１０において、セットトップボックス２００は、メタデータが挿入されたオーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、テレビ受信機３００に、ＨＤＭＩで送信する。そのため、テレビ受信機３００では、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータを取得して利用できる。
また、図１に示す画像表示システム１０において、テレビ受信機３００は、オーディオストリームと共に受信される識別情報に基づいてこのオーディオストリームからメタデータを抽出して処理に用いる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
＜２．変形例＞
なお、上述実施の形態において、セットトップボックス２００は、放送送出装置１００からの放送信号から画像データおよびオーディオストリームを受信する構成となっている。しかし、セットトップボックス２００は、配信サーバ（ストリーミングサーバ）からネットワークを介して画像データおよびオーディオストリームを受信する構成も考えられる。
また、上述実施の形態において、セットトップボックス２００はテレビ受信機３００に画像データ、オーディオストリームを送信する構成となっている。しかし、テレビ受信機３００の代わりに、モニタ装置、あるいはプロジェクタ等に送信する構成も考えられる。また、セットトップボックス２００の代わりに、受信機能付きのレコーダ、パーソナルコンピュータ等である構成も考えられる。
また、上述実施の形態において、セットトップボックス２００とテレビ受信機３００はＨＤＭＩケーブル４００で接続されてなるものである。しかし、これらの間が、ＨＤＭＩと同様のデジタルインタフェースで有線接続される場合、さらには、無線によって接続される場合にも、この発明を同様に適用できることは勿論である。
また、上述実施の形態において、画像表示システム１０は、放送送出装置１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、図２９に示すように、放送送出装置１００およびテレビ受信機３００で構成される画像表示システム１０Ａも考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
なお、本技術は、以下のような構成もとることができる。
（１）メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を挿入する情報挿入部を備える
送信装置。
（２）上記メタデータは、ネットワークアクセス情報を含む
前記（１）に記載の送信装置。
（３）上記ネットワークアクセス情報は、上記コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報をネットワーク上のサーバから取得するためのネットワークアクセス情報である
前記（２）に記載の送信装置。
（４）上記メタデータは、メディア情報の再生制御情報を含む
前記（１）に記載の送信装置。
（５）上記メディア情報は、上記コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報である
前記（４）に記載の送信装置。
（６）上記識別情報には、上記オーディオストリームにおける音声データの符号化方式の情報が付加されている
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記識別情報には、上記メタデータのタイプを示すタイプ情報が付加されている
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記識別情報には、上記メタデータが上記オーディオストリームのみに挿入されているか否かを示すフラグ情報が付加されている
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記識別情報には、上記オーディオストリームに対する上記メタデータの挿入頻度のタイプを示すタイプ情報が付加されている
前記（１）から（８）のいずれかに記載の送信装置。
（１０）送信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナのレイヤに、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を挿入する情報挿入ステップを有する
送信方法。
（１１）メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、該オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されており、
上記オーディオストリームを、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
受信装置。
（１２）上記送信部は、
上記コンテナが有するビデオストリームをデコードして得られる画像データのブランキング期間に上記オーディオストリームおよび上記識別情報を挿入し、該画像データを上記外部機器に送信することで、上記オーディオストリームおよび上記識別情報を上記外部機器に送信する
前記（１１）に記載の受信装置。
（１３）上記所定の伝送路は、ＨＤＭＩケーブルである
前記（１１）または（１２）に記載の受信装置。
（１４）受信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤには、該オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されており、
上記オーディオストリームを、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信ステップをさらに有する
受信方法。
（１５）外部機器から、所定の伝送路を介して、オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信する受信部と、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部を備える
受信装置。
（１６）上記オーディオストリームを、外部スピーカシステムに送信するインタフェース部をさらに備える
前記（１５）に記載の受信装置。
（１７）上記所定の伝送路は、ＨＤＭＩケーブルである
前記（１５）または（１６）に記載の受信装置。
（１８）上記メタデータは、ネットワークアクセス情報を含み、
上記処理部は、上記ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する
前記（１５）から（１７）のいずれかに記載の受信装置。
（１９）受信部により、外部機器から、所定の伝送路を介して、オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信する受信ステップと、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出ステップと、
上記メタデータを用いた処理を行う処理ステップを有する
受信方法。
（２０）メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報が挿入されており、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部を備える
受信装置。
本技術の主な特徴は、オーディオストリームにメタデータを挿入すると共に、オーディオストリームにメタデータが挿入されていることを示す識別情報をコンテナのレイヤに挿入することで、受信側において、オーディオストリームにメタデータが挿入されていることを容易に認識可能としたことである(図１９参照)。
１０，１０Ａ・・・画像表示システム
１４・・・有効画素区間
１５・・・水平帰線期間
１６・・・垂直帰線期間
１７・・・ビデオデータ区間
１８・・・データアイランド区間
１９・・・コントロール区間
８１・・・ＨＤＭＩトランスミッタ
８２・・・ＨＤＭＩレシーバ
８３・・・ＤＤＣ
８４・・・ＣＥＣライン
８５・・・ＥＤＩＤ ＲＯＭ
１００・・・放送送出装置
１１０・・・ストリーム生成部
１１１・・・制御部
１１１ａ・・・ＣＰＵ
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１３ａ・・・オーディオ符号化ブロック部
１１３ｂ・・・オーディオフレーミング部
１１４・・・マルチプレクサ
２００・・・セットトップボックス（ＳＴＢ）
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・デマルチプレクサ
２０６・・・ビデオデコーダ
２０７・・・オーディオフレーミング部
２０８・・・ＨＤＭＩ送信部
２０９・・・ＨＤＭＩ端子
２１１・・・ＣＰＵ
２１２・・・フラッシュＲＯＭ
２１３・・・ＤＲＡＭ
２１４・・・内部バス
２１５・・・リモコン受信部
２１６・・・リモコン送信機
３００・・・テレビ受信機
３０５・・・アンテナ端子
３０６・・・デジタルチューナ
３０７・・・デマルチプレクサ
３０８・・・ビデオデコーダ
３０９・・・映像処理回路
３１０・・・パネル駆動回路
３１１・・・表示パネル
３１２・・・オーディオデコーダ
３１３・・・音声処理回路
３１４・・・音声増幅回路
３１５・・・スピーカ
３１６・・・ＨＤＭＩ端子
３１７・・・ＨＤＭＩ受信部
３１８・・・通信インタフェース
３２１・・・ＣＰＵ
３２２・・・フラッシュＲＯＭ
３２３・・・ＤＲＡＭ
３２４・・・内部バス
３２５・・・リモコン受信部
３２６・・・リモコン送信機
３５０・・・外部スピーカシステム
４００・・・ＨＤＭＩケーブル

Claims (20)

  1. メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する送信部と、
    上記コンテナのレイヤに、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を挿入する情報挿入部を備える
    送信装置。
  2. 上記メタデータは、ネットワークアクセス情報を含む
    請求項１に記載の送信装置。
  3. 上記ネットワークアクセス情報は、上記コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報をネットワーク上のサーバから取得するためのネットワークアクセス情報である
    請求項２に記載の送信装置。
  4. 上記メタデータは、メディア情報の再生制御情報を含む
    請求項１に記載の送信装置。
  5. 上記メディア情報は、上記コンテナが有するビデオストリームに含まれる画像データに関係したメディア情報である
    請求項４に記載の送信装置。
  6. 上記識別情報には、上記オーディオストリームにおける音声データの符号化方式の情報が付加されている
    請求項１に記載の送信装置。
  7. 上記識別情報には、上記メタデータのタイプを示すタイプ情報が付加されている
    請求項１に記載の送信装置。
  8. 上記識別情報には、上記メタデータが上記オーディオストリームのみに挿入されているか否かを示すフラグ情報が付加されている
    請求項１に記載の送信装置。
  9. 上記識別情報には、上記オーディオストリームに対する上記メタデータの挿入頻度のタイプを示すタイプ情報が付加されている
    請求項１に記載の送信装置。
  10. 送信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを送信する送信ステップと、
    上記コンテナのレイヤに、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を挿入する情報挿入ステップを有する
    送信方法。
  11. メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤには、該オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されており、
    上記オーディオストリームを、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
    受信装置。
  12. 上記送信部は、
    上記コンテナが有するビデオストリームをデコードして得られる画像データのブランキング期間に上記オーディオストリームおよび上記識別情報を挿入し、該画像データを上記外部機器に送信することで、上記オーディオストリームおよび上記識別情報を上記外部機器に送信する
    請求項１１に記載の受信装置。
  13. 上記所定の伝送路は、ＨＤＭＩケーブルである
    請求項１２に記載の受信装置。
  14. 受信部により、メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信ステップを有し、
    上記コンテナのレイヤには、該オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されており、
    上記オーディオストリームを、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信ステップをさらに有する
    受信方法。
  15. 外部機器から、所定の伝送路を介して、オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信する受信部と、
    上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
    上記メタデータを用いた処理を行う処理部を備える
    受信装置。
  16. 上記オーディオストリームを、外部スピーカシステムに送信するインタフェース部をさらに備える
    請求項１５に記載の受信装置。
  17. 上記所定の伝送路は、ＨＤＭＩケーブルである
    請求項１５に記載の受信装置。
  18. 上記メタデータは、ネットワークアクセス情報を含み、
    上記処理部は、上記ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する
    請求項１５に記載の受信装置。
  19. 受信部により、外部機器から、所定の伝送路を介して、オーディオストリームを、該オーディオストリームにメタデータが挿入されていることを示す識別情報と共に受信する受信ステップと、
    上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出ステップと、
    上記メタデータを用いた処理を行う処理ステップを有する
    受信方法。
  20. メタデータが挿入されたオーディオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤには、上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報が挿入されており、
    上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
    上記メタデータを用いた処理を行う処理部を備える
    受信装置。
JP2016505353A 2014-07-18 2015-07-09 送信装置、送信方法、受信装置および受信方法 Expired - Fee Related JP6607183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014147308 2014-07-18
JP2014147308 2014-07-18
PCT/JP2015/069781 WO2016009944A1 (ja) 2014-07-18 2015-07-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016009944A1 true JPWO2016009944A1 (ja) 2017-04-27
JP6607183B2 JP6607183B2 (ja) 2019-11-20

Family

ID=55078438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016505353A Expired - Fee Related JP6607183B2 (ja) 2014-07-18 2015-07-09 送信装置、送信方法、受信装置および受信方法

Country Status (9)

Country Link
US (2) US10313720B2 (ja)
EP (1) EP3171605B1 (ja)
JP (1) JP6607183B2 (ja)
KR (1) KR102396133B1 (ja)
CN (1) CN105532009B (ja)
CA (1) CA2923532C (ja)
MX (1) MX367005B (ja)
RU (1) RU2687065C2 (ja)
WO (1) WO2016009944A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271094B2 (en) * 2015-02-13 2019-04-23 Samsung Electronics Co., Ltd. Method and device for transmitting/receiving media data
CN107615767B (zh) * 2015-06-02 2021-05-25 索尼公司 发送装置、发送方法、媒体处理装置、媒体处理方法以及接收装置
US10397663B2 (en) * 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
US10594758B2 (en) * 2017-12-15 2020-03-17 Cisco Technology, Inc. Latency reduction by sending audio and metadata ahead of time
GB2577045A (en) * 2018-09-11 2020-03-18 Nokia Technologies Oy Determination of spatial audio parameter encoding
WO2023106432A1 (ko) * 2021-12-06 2023-06-15 엘지전자 주식회사 Tv 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048438A (ja) * 1997-11-14 2008-02-28 Sony Internatl Europ Gmbh パーシャルトランスポートストリーム伝送装置、パーシャルトランスポートストリーム伝送方法、及び、トランスポートストリーム受信装置
JP2011223353A (ja) * 2010-04-09 2011-11-04 Toshiba Corp デジタル放送のデータ送出方法
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム
JP2014042312A (ja) * 2006-11-07 2014-03-06 Sony Corp 送信装置および通信方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829368B2 (en) 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
KR100378538B1 (ko) * 1997-06-06 2003-03-29 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 프로그램 가이드 포맷을 시청자에 의해 선택적으로 변경하기 위한 방법 및 장치
US6925577B1 (en) 1997-11-14 2005-08-02 Sony International (Europe) Gmbh Method for recording/storing multiple transport streams by dividing into series of packets
JP3823929B2 (ja) * 2002-05-17 2006-09-20 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツ配信装置、コンテンツ配信方法、並びにコンピュータ・プログラム
KR100565080B1 (ko) 2004-09-13 2006-03-30 삼성전자주식회사 대표 타이틀 정보가 부가된 메타 데이터를 포함한 ａｖ데이터를 기록한 정보저장매체, 그 재생장치 및 메타데이터 검색방법
US8456188B2 (en) 2006-11-07 2013-06-04 Sony Corporation Electronic apparatus and cable device
CN101536519B (zh) 2006-11-07 2012-04-04 索尼株式会社 电子设备、内容再现方法以及内容解码方法
JP4479776B2 (ja) 2007-10-05 2010-06-09 ソニー株式会社 表示装置および送信装置
JP5572929B2 (ja) * 2008-03-05 2014-08-20 ソニー株式会社 送信装置
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US8345681B2 (en) * 2009-09-23 2013-01-01 Samsung Electronics Co., Ltd. Method and system for wireless communication of audio in wireless networks
JP2012010311A (ja) 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
AU2011315435B2 (en) * 2010-10-15 2016-05-12 Interdigital Ce Patent Holdings Method for synchronizing multimedia flows and corresponding device
GB2486002A (en) * 2010-11-30 2012-06-06 Youview Tv Ltd Media Content Provision
TWI574565B (zh) * 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
KR20130048035A (ko) * 2011-11-01 2013-05-09 엘지전자 주식회사 미디어 장치, 컨텐츠 서버 및 그 동작방법
JP6003901B2 (ja) * 2012-03-01 2016-10-05 ソニー株式会社 送信装置、送信方法および受信装置
EP2946495B1 (en) * 2013-01-21 2017-05-17 Dolby Laboratories Licensing Corporation Encoding and decoding a bitstream based on a level of trust
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048438A (ja) * 1997-11-14 2008-02-28 Sony Internatl Europ Gmbh パーシャルトランスポートストリーム伝送装置、パーシャルトランスポートストリーム伝送方法、及び、トランスポートストリーム受信装置
JP2014042312A (ja) * 2006-11-07 2014-03-06 Sony Corp 送信装置および通信方法
JP2011223353A (ja) * 2010-04-09 2011-11-04 Toshiba Corp デジタル放送のデータ送出方法
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム

Also Published As

Publication number Publication date
US20170127093A1 (en) 2017-05-04
US10848801B2 (en) 2020-11-24
US20190253740A1 (en) 2019-08-15
RU2016108851A (ru) 2017-09-14
CN105532009A (zh) 2016-04-27
CA2923532C (en) 2023-06-27
RU2016108851A3 (ja) 2018-11-01
KR20170032212A (ko) 2017-03-22
EP3171605A1 (en) 2017-05-24
EP3171605A4 (en) 2018-03-14
MX2016003223A (es) 2016-06-30
RU2687065C2 (ru) 2019-05-07
JP6607183B2 (ja) 2019-11-20
MX367005B (es) 2019-08-02
US10313720B2 (en) 2019-06-04
EP3171605B1 (en) 2020-10-14
CA2923532A1 (en) 2016-01-21
KR102396133B1 (ko) 2022-05-10
CN105532009B (zh) 2021-03-12
WO2016009944A1 (ja) 2016-01-21

Similar Documents

Publication Publication Date Title
JP6607183B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7099510B2 (ja) 受信装置および受信方法
JP6809450B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6891806B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2021119712A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
WO2017154646A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R151 Written notification of patent or utility model registration

Ref document number: 6607183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees