JPWO2016039285A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2016039285A1
JPWO2016039285A1 JP2016514783A JP2016514783A JPWO2016039285A1 JP WO2016039285 A1 JPWO2016039285 A1 JP WO2016039285A1 JP 2016514783 A JP2016514783 A JP 2016514783A JP 2016514783 A JP2016514783 A JP 2016514783A JP WO2016039285 A1 JPWO2016039285 A1 JP WO2016039285A1
Authority
JP
Japan
Prior art keywords
metadata
audio stream
audio
stream
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016514783A
Other languages
English (en)
Other versions
JP6809221B2 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016039285A1 publication Critical patent/JPWO2016039285A1/ja
Application granted granted Critical
Publication of JP6809221B2 publication Critical patent/JP6809221B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能とする。メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する。オーディオストリームにメタデータが挿入されていることを示す識別情報を、メタファイルに挿入する。受信側では、オーディオストリームにメタデータが挿入されていることを、メタファイルに挿入されている識別情報から容易に認識できる。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、オーディオストリームにメタデータを挿入して送信する技術に関連した送信装置等に関する。
従来、メタデータをオーディオストリームに挿入して送信することが提案されている(例えば、特許文献1参照)。
特開2012−010311号公報
メタデータはオーディオストリームの例えばユーザデータ領域に定義される。しかし、全てのオーディオストリームにメタデータが挿入されるわけではない。
本技術の目的は、オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能として処理の便宜を図ることにある。
本技術の概念は、
メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する送信部と、
上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を上記メタファイルに挿入する情報挿入部とを備える
送信装置にある。
本技術において、送信部により、メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルが送信される。例えば、メタデータは、所定のネットサービスに接続するためのアクセス情報である、ようにされてもよい。この場合、例えば、メタデータは、URI情報を示すキャラクタコードである、ようにされてもよい。
また、例えば、送信部は、メタファイルをRF伝送路または通信ネットワーク伝送路を通じて送信する、ようにされてもよい。また、例えば、送信部は、メタデータが挿入されたオーディオストリームを含む所定フォーマットのコンテナをさらに送信する、ようにされてもよい。この場合、例えば、コンテナは、MP4(ISO/IEC 14496-14:2003)である、ようにされてもよい。
情報挿入部により、オーディオストリームにメタデータが挿入されていることを示す識別情報がメタファイルに挿入される。例えば、メタファイルは、MPD(Media Presentation Description)ファイルである、ようにされてもよい。この場合、例えば、情報挿入部は、“Supplementary Descriptor”を用いて、メタファイルに識別情報を挿入する、ようにされてもよい。
このように本技術においては、メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入される。そのため、受信側では、オーディオストリームにメタデータが挿入されていることを容易に認識できる。そして、例えば、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うこことも可能であり、無駄なく確実にメタデータの取得が可能となる。
また、本技術の他の概念は、
メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記オーディオストリームを、上記オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
受信装置にある。
本技術において、受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルが受信される。例えば、メタデータは、所定のネットサービスに接続するためのアクセス情報である、ようにされてもよい。メタファイルには、オーディオストリームにメタデータの挿入があることを示す識別情報が挿入されている。
例えば、メタデータは、所定のネットサービスに接続するためのアクセス情報である、ようにされてもよい。また、例えば、メタファイルはMPDファイルであり、このメタファイルには、“Supplementary Descriptor”により、識別情報が挿入されている、ようにされてもよい。
送信部により、オーディオストリームは、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信される。例えば、送信部は、画像データのブランキング期間にオーディオストリームおよび識別情報を挿入し、この画像データを外部機器に送信することで、オーディオストリームおよび識別情報を外部機器に送信する、ようにされてもよい。また、例えば、所定の伝送路は、HDMIケーブルである、ようにされてもよい。
このように本技術においては、メタデータが挿入されたオーディオストリームが、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に外部機器に送信される。そのため、外部機器側では、オーディオストリームにメタデータが挿入されていることを容易に認識できる。そして、例えば、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うこことも可能であり、無駄なく確実にメタデータの取得が可能となる。
また、本技術の他の概念は、
メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部とをさらに備える
受信装置にある。
本技術において、受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルが受信される。メタファイルには、オーディオストリームにメタデータの挿入があることを示す識別情報が挿入されている。例えば、メタファイルはMPDファイルであり、このメタファイルには、“Supplementary Descriptor”により、識別情報が挿入されている、ようにされてもよい。
メタデータ抽出部により、識別情報に基づいて、オーディオストリームがデコードされてメタデータが抽出される。そして、処理部により、このメタデータを用いた処理が行われる。例えば、メタデータは、所定のネットサービスに接続するためのアクセス情報であり、処理部は、ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスする、ようにされてもよい。
このように本技術においては、メタファイルに挿入されている、オーディオストリームにメタデータの挿入があることを示す識別情報に基づいて、オーディオストリームからメタデータが抽出されて処理に用いられる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
また、本技術のさらに他の概念は、
ネットワークアクセス情報を含むメタデータが挿入されたオーディオストリームを生成するストリーム生成部と、
上記オーディオストリームを有する所定フォーマットのコンテナを送信する送信部とを備える
送信装置にある。
本技術において、ストリーム生成部により、ネットワークアクセス情報を含むメタデータが挿入されたオーディオストリームが生成される。例えば、オーディオストリームは、オーディオデータに対してAAC、AC3、AC4、MPEGH(3Dオーディオ)などの符号化が施されて生成され、そのユーザデータ領域にメタデータが埋め込まれる。
送信部により、そのオーディオストリームを有する所定フォーマットのコンテナが送信される。ここで、所定フォーマットのコンテナとは、例えば、MP4、MPEG2−TSなどである。例えば、メタデータは、URI情報を示すキャラクタコードである、ようにされてもよい。
このように本技術においては、ネットワークアクセス情報を含むメタデータが、オーディオストリームに埋め込まれて送信される。そのため、例えば、放送局、配信サーバ等から、ネットワークアクセス情報を、オーディオストリームをコンテナとして簡単に送信でき、受信側での利用に供することが可能となる。
本技術によれば、オーディオストリームにメタデータが挿入されていることを受信側で容易に認識可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
MPEG−DASHベースのストリーム配信システムの構成例を示すブロック図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 実施の形態としての送受信システムの構成例を示すブロック図である。 MPDファイル記述例を示す図である。 「SupplementaryDescriptor」による「schemeIdUri」の定義例を示す図である。 トランスポートストリームおけるビデオ、オーディオのアクセスユニットの配置例と、オーディオストリームに対するメタデータの挿入頻度を説明するための図である。 「<baseURL>」で示されるロケーション先のメディアファイル実体について説明するための図である。 サービス送信システムが備えるDASH/MP4生成部の構成例を示すブロック図である。 AACのオーディオフレームの構造を示す図である。 圧縮フォーマットがAACの場合にメタデータMDが挿入される「DSE(data stream element)」の構成を示す図である。 「metadata ()」の構成およびその構成主要な情報の内容を示す図である。 「SDO_payload()」の構成を示す図である。 コマンドID(cmdID)の値の意味を示す図である。 AC3のフレーム(AC3 Synchronization Frame)の構造を示す図である。 AC3のオグジャリデータ(Auxiliary Data)の構成を示す図である。 AC4のシンプルトランスポート(Simple Transport)のレイヤの構造を示す図である。 TOC(ac4_toc())およびサブストリーム(ac4_substream_data())の概略構成を示す図である。 TOC(ac4_toc())の中に存在する「umd_info()」の構成を示す図である。 サブストリーム(ac4_substream_data())の中に存在する「umd_payloads_substream())」の構成を示す図である。 MPEGH(3Dオーディオ)の伝送データにおけるオーディオフレーム(1024サンプル)の構造を示す図である。 “Config”に含まれる各“Frame”の構成情報(config)と、各“Frame”との対応が保持されることを説明するための図である。 エクステンションエレメント(Ext_element)のタイプ(ExElementType)とその値(Value)との対応関係を示す図である。 「userdataConfig()」の構成を示す図である。 「userdata()」の構成を示す図である。 送受信システムを構成するセットトップボックスの構成例を示すブロック図である。 データアイランド区間に配置される、オーディオ・インフォフレーム・パケットの構造例を示す図である。 送受信システムを構成するテレビ受信機の構成例を示すブロック図である。 セットトップボックスのHDMI送信部と示すテレビ受信機のHDMI受信部の構成例を示すブロック図である。 TMDSチャネルで画像データが伝送される場合の各種の伝送データの区間を示す図である。 テレビ受信機におけるメタデータを用いた処理の具体例を説明するための図である。 テレビ受信機でメタデータに基づいてネットサービスにアクセスする場合の画面表示の遷移例を示す図である。 実施の形態におけるテレビ受信機における音声出力系の構成を示すブロック図である。 テレビ受信機における音声出力系の他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 サービス送信システムが備えるTS生成部の構成例を示すブロック図である。 オーディオ・ユーザデータ・デスクリプタの構造例を示す図である。 オーディオ・ユーザデータ・デスクリプタの構造例における主要な情報の内容を示す図である。 トランスポートストリームの構成例を示す図である。 送受信システムを構成するセットトップボックスの構成例を示すブロック図である。 送受信システムを構成するテレビ受信機の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[MPEG−DASHベースのストリーム配信システムの概要]
最初に、本技術を適用し得るMPEG−DASHベースのストリーム配信システムの概要を説明する。
図1(a)は、MPEG−DASHベースのストリーム配信システム30Aの構成例を示している。この構成例では、メディアストリームとMPDファイルが、通信ネットワーク伝送路を通じて送信される。このストリーム配信システム30Aは、DASHストリームファイルサーバ31およびDASH MPDサーバ32に、N個の受信システム33-1,33-2,・・・,33-Nが、CDN(Content Delivery Network)34を介して、接続された構成となっている。
DASHストリームファイルサーバ31は、所定のコンテンツのメディアデータ(ビデオデータ、オーディオデータ、字幕データなど)に基づいて、DASH仕様のストリームセグメント(以下、適宜、「DASHセグメント」という)を生成し、受信システムからのHTTP要求に応じてセグメントを送出する。このDASHストリームファイルサーバ31は、ストリーミング専用のサーバであってもよいし、また、ウェブ(Web)サーバで兼用されることもある。
また、DASHストリームファイルサーバ31は、受信システム33(33-1,33-2,・・・,33-N)からCDN34を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、CDN34を介して、要求元の受信機に送信する。この場合、受信システム33は、MPD(Media Presentation Description)ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
DASH MPDサーバ32は、DASHストリームファイルサーバ31において生成されるDASHセグメントを取得するためのMPDファイルを生成するサーバである。コンテンツマネジメントサーバ(図示せず)からのコンテンツメタデータと、DASHストリームファイルサーバ31において生成されたセグメントのアドレス(url)をもとに、MPDファイルを生成する。なお、DASHストリームファイルサーバ31とDASH MPDサーバ32は、物理的に同じものであってもよい。
MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。受信システム33では、そのレートの値を参考にして、上述したように、受信システム33の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
図1(b)は、MPEG−DASHベースのストリーム配信システム30Bの構成例を示している。この構成例では、メディアストリームとMPDファイルが、RF伝送路を通じて送信される。このストリーム配信システム30Bは、DASHストリームファイルサーバ31およびDASH MPDサーバ32が接続された放送送出システム36と、M個の受信システム35-1,35-2,・・・,35-Mとで構成されている。
このストリーム配信システム30Bの場合、放送送出システム36は、DASHストリームファイルサーバ31で生成されるDASH仕様のストリームセグメント(DASHセグメント)およびDASH MPDサーバ32で生成されるMPDファイルを、放送波に載せて送信する。
図2は、MPDファイルに階層的に配置されている各構造体の関係の一例を示している。図2(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
図2(b)に示すように、ピリオドには、複数のリプレゼンテーション(Representation)が存在する。この複数のリプレゼンテーションには、アダプテーションセット(AdaptationSet)でグルーピングされる、ストリーム属性、例えばレートの異なる同一内容のメディアストリームに係るリプレゼンテーション群が存在する。
図2(c)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図2(d)に示すように、イニシャライゼーションセグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディアセグメント(Media Segment)が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
なお、アダプテーションセットでグルーピングされている複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信システムが置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのない配信が可能となる。
[送受信システムの構成]
図3は、実施の形態としての送受信システムの構成例を示している。図3(a)の送受信システム10は、サービス送信システム100と、セットトップボックス(STB)200と、テレビ受信機(TV)300を有している。セットトップボックス200とテレビ受信機300は、HDMI(High Definition Multimedia Interface)ケーブル400を介して接続されている。なお、「HDMI」は登録商標である。
この送受信システム10において、サービス送信システム100は、上述の図1(a)に示すストリーム配信システム30AのDASHストリームファイルサーバ31およびDASH MPDサーバ32に対応する。また、この送受信システム10において、サービス送信システム100は、上述の図1(b)に示すストリーム配信システム30BのDASHストリームファイルサーバ31、DASH MPDサーバ32および放送送出システム36に対応する。
この送受信システム10において、セットトップボックス(STB)200およびテレビ受信機(TV)300は、上述の図1(a)に示すストリーム配信システム30Aの受信システム33(33-1,33-2,・・・,33-N)に対応する。また、この送受信システム10において、セットトップボックス(STB)200およびテレビ受信機(TV)300は、上述の図1(b)に示すストリーム配信システム30Bの受信システム35(35-1,35-2,・・・,35-M)に対応する。
また、図3(b)の送受信システム10´は、サービス送信システム100と、テレビ受信機(TV)300を有している。この送受信システム10´において、サービス送信システム100は、上述の図1(a)に示すストリーム配信システム30AのDASHストリームファイルサーバ31およびDASH MPDサーバ32に対応する。また、この送受信システム10´において、サービス送信システム100は、上述の図1(b)に示すストリーム配信システム30BのDASHストリームファイルサーバ31、DASH MPDサーバ32および放送送出システム36に対応する。
この送受信システム10´において、テレビ受信機(TV)300は、上述の図1(a)に示すストリーム配信システム30Aの受信システム33(33-1,33-2,・・・,33-N)に対応する。また、この送受信システム10´において、テレビ受信機(TV)300は、上述の図1(b)に示すストリーム配信システム30Bの受信システム35(35-1,35-2,・・・,35-M)に対応する。
サービス送信システム100は、DASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を、RF伝送路または通信ネットワーク伝送路を通じて、送信する。サービス送信システム100は、オーディオストリームに、メタデータを挿入する。このメタデータとしては、例えば、所定のネットサービスに接続するためのアクセス情報、所定のコンテンツ情報などが考えられる。この実施の形態では、所定のネットサービスに接続するためのアクセス情報が挿入される。
サービス送信システム100は、MPDファイルに、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。サービス送信システム100は、例えば、“Supplementary Descriptor”を用いて、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。
図4は、MPDファイル記述例を示している。「<AdaptationSet mimeType=“audio/mp4” group=“1”>」の記述により、オーディオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのオーディストリームはMP4ファイル構造で供給され、グループ1が割り当てられていることが示されている。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:AudioMetaContained” value=“true”/>」の記述により、オーディオストリームにメタデータが挿入されていることが示されている。「SupplementaryDescriptor」により、「schemeIdUri」を、従来の規格における既定義とは別に、放送その他のアプリケーションとして新規の定義が可能である。図5に示すように、「schemeIdUri=“urn:brdcst:AudiometaContained”」は、オーディオメタ情報が含まれること、つまりオーディオストリームにメタデータが挿入されていることを示す。例えば、「value」が“true”であるときは、オーディオメタ情報が含まれることを示す。「value」が“false”であるときは、オーディオメタ情報が含まれないことを示す。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:codecType” value= “mpegh”/>」の記述により、オーディオストリームのコーデックがMPEGH(3Dオーディオ)であることが示されている。図5に示すように、「schemeIdUri=“urn:brdcst:codecType”」は、コーデックの種類を示す。例えば、「value」は“mpegh”、”AAC”、”AC3”、”AC4”などとされる。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:coordinatedControl” value=“true”/>」の記述により、ネット接続に必要な情報が複数のメディアストリーム間で強調して供給されることが示されている。図5に示すように、「schemeIdUri=“urn:brdcst:coordinatedControl”」は、ネット接続に必要な情報が複数のメディアストリーム間で協調して供給されることを示す。例えば、「value」が“true”であるときは、ネット接続情報が他のアダプテーションセットのストリームと協調して供給されることを示す。「value」が“false”であるときは、ネット接続情報が本アダプテーションセットのストリームのみで供給されることを示す。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:type” value=“netlink”/>」の記述により、メタによるサービスの種類がネット接続であることが示されている。図5に示すように、「schemeIdUri=“urn:brdcst:type”」でメタによるサービスの種類を示す。例えば、「value」が“netlink”であるときは、メタによるサービスの種類がネット接続であることを示す。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:metaInsertionFrequency” value=“1”/>」の記述により、アクセスユニット単位でメタ情報が供給されることが示されている。図5に示すように、「schemeIdUri=“urn:brdcst:metaInsertionFrequency”」は、アクセスユニット単位にメタ情報が供給される頻度を示す。例えば、「value」が“1”であるときは、1つのユーザデータエントリ(entry)が1アクセスユニットに発生することを示す。「value」が“2”であるときは、複数のユーザデータエントリが1アクセスユニットに発生することを示す。「value」が“3”であるときは、1以上のユーザデータエントリが、ランダムアクセスポイントで区切られる期間中に発生することを示す。
図6(a)は、MP4でコンテナされるビデオ、オーディオのアクセスユニットの配置例を示している。「VAU」は、ビデオアクセスユニットを示している。「AAU」は、オーディオアクセスユニットを示している。図6(b)は、「frequency_type = 1」である場合であって、各オーディオアクセスユニットに一つのユーザデータエントリ(メタデータ)が挿入されていることを示している。
図6(c)は、「frequency_type = 2」である場合であって、一つのオーディオアクセスユニットに複数のユーザデータ(メタデータ)が挿入されていることを示している。図6(d)は、「frequency_type = 3」である場合であって、ランダムアクセスポイントを含むグループ毎に、その先頭のオーディオアクセスユニットに少なくとも一つのユーザデータ(メタデータ)が挿入されていることを示している。
また、図4に戻って、「<Representation id=“11” bandwidth=“128000”>」の記述により、「Representation id=“11”」として、ビットレートが128kbpsのオーディオストリームの存在が示されている。そして、「<baseURL>audio/jp/128.mp4</BaseURL>」の記述により、そのオーディオストリームのロケーション先が、「audio/jp/128.mp4」として示されている。
また、「<AdaptationSet mimeType=“video/mp4” group=“2”>」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、グループ2が割り当てられていることが示されている。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:VideoMetaContained” value=“true”/>の記述により、ビデオストリームにメタデータが挿入されていることが示されている。図5に示すように、「schemeIdUri=“urn:brdcst:VideoMetaContained”」は、ビデオメタ情報が含まれること、つまりビデオストリームにメタデータが挿入されていることを示す。例えば、「value」が“true”であるときは、ビデオメタ情報が含まれることを示す。「value」が“false”であるときは、ビデオメタ情報が含まれないことを示す。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:codecType” value= “hevc”/>」の記述により、ビデオストリームのコーデックがHEVCであることが示されている。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:coordinatedControl” value=“true”/>」の記述により、ネット接続に必要な情報が複数のメディアストリーム間で強調して供給されることが示されている。
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:type” value=“netlink”/>」の記述により、メタによるサービスの種類がネット接続であることが示されている。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:metaInsertionFrequency” value=“1”/>」の記述により、アクセスユニット単位でメタ情報が供給されることが示されている。
また、「<Representation id=“21” bandwidth=“20000000”>」の記述により、「Representation id=“21”」として、ビットレートが20Mbpsのビデオストリームの存在が示されている。そして、「<baseURL>video/jp/20000000.mp4</BaseURL>」の記述により、そのビデオストリームのロケーション先が、「video/jp/20000000.mp4」として示されている。
ここで、「<baseURL>」で示されるロケーション先のメディアファイル実体について説明する。ノンフラグメンテッドMP4(Non-Fragmented MP4)の場合、例えば、図7(a)に示すように、“url 1”として定義される場合がある。この場合、最初にファイルタイプが記述される“ftyp”ボックスが配置される。この“ftyp”ボックスにより、断片化されていないMP4ファイルであることが示される。続いて、“moov”ボックスおよび“mdat”ボックスが配置される。“moov”ボックスには、全てのメタデータ、例えば、各トラックのヘッダ情報やコンテンツ内容のメタ記述、時刻情報などが含まれる。“mdat”ボックスには、メディアデータ本体が入る。
また、フラグメンテッドMP4(Fragmented MP4)の場合、例えば、図7(b)に示すように、“url 2”として定義される場合がある。この場合、最初にセグメントタイプが記述される“styp”ボックスが配置される。続いて、セグメントインデックスが記述される“sidx”ボックスが配置される。それに続いて、所定個数のムービーフラグメント(Movie Fragment)が配置される。ここで、ムービーフラグメントは、制御情報が入る“moof”ボックスと、メディアデータ本体が入る“mdat”ボックスから構成される。一つのムービーフラグメントの“mdat”ボックスには、伝送メディアが断片化されて得られた断片が入るので、“moof”ボックスに入る制御情報はその断片に関する制御情報となる。
また、上述の“url 1”と“url 2”の組み合わせも考えられる。この場合、例えば、“url 1”がイニシャライゼーションセグメント(initialization segment)として、“url 1”と“url 2”を1サービスのMP4とすることも可能である。あるいは、“url 1”と“url 2”を一つにまとめて、図7(c)に示すように、“url 3”として定義することも可能である。
セットトップボックス200は、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を受信する。MP4に含まれるオーディストリームには、メタデータとして、所定のネットサービスに接続するためのアクセス情報が挿入されている。また、MPDファイルには、“Supplementary Descriptor”により、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。
セットトップボックス200は、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、HDMIケーブル400を介して、テレビ受信機300に送信する。
ここで、セットトップボックス200は、ビデオストリームをデコードして得られた画像データのブランキング期間にオーディオストリームおよび識別情報を挿入し、この画像データをテレビ受信機300に送信することで、オーディオストリームおよび識別情報をテレビ受信機300に送信する。セットトップボックス200は、この識別情報を、例えば、オーディオ・インフォフレーム・パケット(Audio InfoFrame packet)に挿入する。
テレビ受信機300は、図3(a)に示す送受信システム10にあっては、セットトップボックス200から、HDMIケーブル400を介して、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、受信する。すなわち、テレビ受信機300は、セットトップボックス200から、オーディオストリームおよび識別情報がブランキング期間に挿入されている画像データを受信する。
そして、テレビ受信機300は、識別情報に基づいて、オーディオストリームをデコードしてメタデータを抽出し、このメタデータを用いた処理をする。この場合、テレビ受信機300は、メタデータとしての所定のネットサービス情報に基づいて、ネットワーク上の所定のサーバにアクセスする。
また、テレビ受信機300は、図3(b)に示す送受信システム10´にあっては、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を受信する。MP4に含まれるオーディストリームには、メタデータとして、所定のネットサービスに接続するためのアクセス情報が挿入されている。また、MPDファイルには、“Supplementary Descriptor”により、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。
そして、テレビ受信機300は、識別情報に基づいて、オーディオストリームをデコードしてメタデータを抽出し、このメタデータを用いた処理をする。この場合、テレビ受信機300は、メタデータとしての所定のネットサービス情報に基づいて、ネットワーク上の所定のサーバにアクセスする。
[サービス送信システムのDASH/MP4生成部]
図8は、サービス送信システム100が備えるDASH/MP4生成部110の構成例を示している。このDASH/MP4生成部110は、制御部111と、ビデオエンコーダ112と、オーディオエンコーダ113と、DASH/MP4フォーマッタ114を有している。
制御部111は、CPU111aを備えており、DASH/MP4生成部110の各部を制御する。ビデオエンコーダ112は、画像データSVに対して、MPEG2、H.264/AVC、H.265/HEVCなどの符号化を施し、ビデオストリーム(ビデオエレメンタリストリーム)を生成する。画像データSVは、例えば、HDDなどの記録媒体から再生された画像データ、あるいはビデオカメラで得られたライブ画像データなどである。
オーディオエンコーダ113は、音声データSAに対して、AAC、AC3、AC4、MPEGH(3Dオーディオ)などの圧縮フォーマットによる符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。音声データSAは、上述の画像データSVに対応した音声データであり、HDDなどの記録媒体から再生された音声データ、あるいはマイクロホンで得られたライブ音声データなどである。
オーディオエンコーダ113は、オーディオ符号化ブロック部113aおよびオーディオフレーミング部113bを有している。オーディオ符号化ブロック部113aで符号化ブロックが生成され、オーディオフレーミング部113bでフレーミングが行われる。この場合、圧縮フォーマットにより、符号化ブロックが異なると共に、フレーミングも異なる。
オーディオエンコーダ113は、制御部111による制御のもと、オーディオストリームに、メタデータMDを挿入する。この実施の形態において、メタデータMDは、所定のネットサービスに接続するためのアクセス情報である。ここで、所定のネットサービスとしては、ミュージックネットサービスやオーディオビデオネットサービスなどの全てのサービスが対象となる。ここで、メタデータMDは、オーディオストリームのユーザデータ領域に埋め込まれる。
DASH/MP4フォーマッタ114は、ビデオエンコーダ112から出力されるビデオストリームおよびオーディオエンコーダ113から出力されるオーディオストリームに基づいて、コンテンツであるビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を生成する。また、コンテンツメタデータやセグメントURL情報等を利用してMPDファイルを生成する。ここで、MPDファイルには、オーディオストリームにメタデータが挿入されていることを示す識別情報などが挿入される(図4参照)。
図8に示すDASH/MP4生成部110の動作を簡単に説明する。画像データSVはビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データSVに対してH.264/AVC、H.265/HEVCなどの符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。
また、音声データSAは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、その音声データSAに対して、AAC、AC3、AC4、MPEGH(3Dオーディオ)などの符号化が施され、オーディオストリームが生成される。
この際、制御部111からオーディオエンコーダ113に、メタデータMDが供給されると共に、このメタデータMDをユーザデータ領域に埋め込むためのサイズ情報が供給される。そして、オーディオエンコーダ113では、オーディオストリームのユーザデータ領域に、メタデータMDを埋め込むことが行われる。
ビデオエンコーダ112で生成されたビデオストリームは、DASH/MP4フォーマッタ114に供給される。また、オーディオエンコーダ113で生成された、ユーザデータ領域にメタデータMDが埋め込まれたオーディオストリームは、DASH/MP4フォーマッタ114に供給される。そして、このDASH/MP4フォーマッタ114では、コンテンツであるビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4が生成される。また、このDASH/MP4フォーマッタ114では、コンテンツメタデータやセグメントURL情報等が利用されてMPDファイルが生成される。この際、MPDファイルには、オーディオストリームにメタデータが挿入されていることを示す識別情報などが挿入される。
[各圧縮フォーマットにおけるメタデータMDの挿入の詳細]
「AACの場合」
最初に、圧縮フォーマットがAAC(Advanced Audio Coding)である場合について説明する。図9は、AACのオーディオフレームの構造を示している。このオーディオフレームは、複数のエレメントからなっている。各エレメント(element)の先頭には、「id_syn_ele」の3ビットの識別子(ID)が存在し、エレメント内容が識別可能とされている。
「id_syn_ele」が“0x4”であるとき、ユーザデータを置くことできるエレメントであるDSE(Data Stream Element)であることが示される。圧縮フォーマットがAACの場合、このDSEにメタデータMDが挿入される。図10は、DSE(Data Stream Element())の構成(Syntax)を示している。
「element_instance_tag」の4ビットフィールドは、DSEの中のデータ種別を示すが、DSEを統一したユーザデータとして利用する場合は、この値を“0”としてもよい。「Data_byte_align_flag」は、“1”とされ、DSEの全体がバイトアラインされるようにする。「count」、あるいは、その追加バイト数を意味する「esc_count」は、ユーザデータのサイズによって適宜、値が決められる。「data_stream_byte」のフィールドに、「metadata ()」が挿入される。
図11(a)は「metadata ()」の構成(Syntax)を示し、図11(b)はその構成における主要な情報の内容(semantics)を示している。「userdata_identifier」の32ビットフィールドは、予め定義された配列の値がセットされることでオーディオ・ユーザデータであることを示す。「userdata_identifier」が“AAAA”でユーザデータを示す場合、「metadata_type」の8ビットフィールドが存在する。このフィールドは、メタデータのタイプを示す。例えば、“0x08”は、所定のネットサービスに接続するためのアクセス情報であり、ATSCの「SDO_payload()」に含まれることを示す。“0x08”であるとき、「SDO_payload()」が存在する。なお、ここでは“ATSC”としたが、他の規格化団体で用いることも可能である。
図12は、「SDO_payload()」の構成(Syntax)を示している。コマンドID(cmdID)が“0x05”より小さいとき、「URI_character」のフィールドが存在する。このフィールドに、所定のネットサービスに接続するためのURI情報を示すキャラクタコードが挿入される。図13は、コマンドID(cmdID)の値の意味を示している。なお、この「SDO_payload()」は、ATSC(Advanced Television Systems Committee standards)で規格化されている。
「AC3の場合」
次に、圧縮フォーマットがAC3である場合について説明する。図14は、AC3のフレーム(AC3 Synchronization Frame)の構造を示している。「Audblock 5」の“mantissa data”と、「AUX」と、「CRC」との合計サイズが全体の3/8を超えないように、音声データSAがエンコードされる。圧縮フォーマットがAC3の場合、「AUX」のエリアにメタデータMDが挿入される。図15は、AC3のオグジャリデータ(Auxiliary Data)の構成(syntax)を示している。
「auxdatae」が“1”のとき、「aux data」がイネーブルされ、「auxdatal」の14ビット(ビット単位)で示されるサイズのデータが、「auxbits」の中に定義される。その際の「auxbits」のサイズは「nauxbits」に記載される。本技術においては、「auxbits」のフィールドが「metadata()」と定義される。つまり、この「auxbits」のフィールドに、上述の図11(a)に示す「metadata ()」が挿入され、その「data_byte」のフィールドに、図11(a)に示すシンタクス構造に従って、所定のネットサービスに接続するためのアクセス情報を持つ、ATSCの「SDO_payload()」(図12参照)が置かれる。
「AC4の場合」
次に、圧縮フォーマットがAC4である場合について説明する。このAC4は、AC3の次世代のオーディオ符号化フォーマットの一つとされている。図16(a)は、AC4のシンプルトランスポート(Simple Transport)のレイヤの構造を示している。シンクワード(syncWord)のフィールドと、フレームレングス(frame Length)のフィールドと、符号化データのフィールドとしての「RawAc4Frame」のフィールドと、CRCフィールドが存在する。「RawAc4Frame」のフィールドには、図16(b)に示すように、先頭にTOC(Table Of Content)のフィールドが存在し、その後の所定数のサブストリーム(Substream)のフィールドが存在する。
図17(b)に示すように、サブストリーム(ac4_substream_data())の中には、メタデータ領域(metadata)が存在し、その中に「umd_payloads_substream()」のフィールドが設けられる。この「umd_payloads_substream()」のフィールドに、所定のネットサービスに接続するためのアクセス情報を持つ、ATSCの「SDO_payload()」(図12参照)が置かれる。
なお、図17(a)に示すように、TOC(ac4_toc())の中には「ac4_presentation_info()」のフィールドが存在し、さらにその中に「umd_info()」のフィールドが存在し、その中に上述の「umd_payloads_substream())」のフィールドにメタデータの挿入があることが示される。
図18は、「umd_info()」の構成(syntax)を示している。「umd_version」のフィールドは、バージョン番号を示す。「substream_index」のフィールドは、インデックス値を示す。バージョン番号とインデックス値のある値の組み合わせが、「umd_payloads_substream())」のフィールドにメタデータの挿入があることを示すものとして定義される。
図19は、「umd_payloads_substream()」の構成(syntax)を示している。「umd_payload_id」の5ビットフィールドは、“0”以外の値とされる。「umd_userdata_identifier」の32ビットフィールドは、予め定義された配列の値がセットされることでオーディオ・ユーザデータであることを示す。「umd_payload_size」の16ビットフィールドは、以降のバイト数を示す。「umd_userdata_identifier」が“AAAA”でユーザデータを示す場合、「umd_metadata_type」の8ビットフィールドが存在する。このフィールドは、メタデータのタイプを示す。例えば、“0x08”は、所定のネットサービスに接続するためのアクセス情報であり、ATSCの「SDO_payload()」に含まれることを示す。“0x08”であるとき、「SDO_payload()」(図12参照)が存在する。
「MPEGHの場合」
次に、圧縮フォーマットがMPEGH(3Dオーディオ)である場合について説明する。図20は、MPEGH(3Dオーディオ)の伝送データにおけるオーディオフレーム(1024サンプル)の構造を示している。このオーディオフレームは、複数のMPEGオーディオストリームパケット(mpeg Audio Stream Packet)からなっている。各MPEGオーディオストリームパケットは、ヘッダ(Header)とペイロード(Payload)により構成されている。
ヘッダは、パケットタイプ(Packet Type)、パケットラベル(Packet Label)、パケットレングス(Packet Length)などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“SYNC”と、3Dオーディオの伝送データの実際のデータである“Frame”と、この“Frame”の構成を示す“Config”が存在する。
“Frame”には、3Dオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。ここで、チャネル符号化データは、SCE(Single Channel Element)、CPE(Channel Pair Element)、LFE(Low Frequency Element)などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、SCE(Single Channel Element)の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント(Ext_element)として含まれる。
ここで、“Config”に含まれる各“Frame”の構成情報(config)と、各“Frame”との対応は、以下のようにして保持される。すなわち、図21に示すように、“Config”に各“Frame”の構成情報(config)がID(elemIdx)登録されるが、各“Frame”はID登録された順番で伝送される。なお、パケットラベル(PL)の値は、“Config”とそれに対応した各“Frame”とで同じ値とされる。
図20に戻って、この実施の形態では、エクステンションエレメント(Ext_element)としてユーザデータ(userdata)が含まれるエレメント(Ext_userdata)を新たに定義する。これに伴って、“Config”に、そのエレメント(Ext_userdata)の構成情報(userdataConfig)を新たに定義する。
図22は、エクステンションエレメント(Ext_element)のタイプ(ExElementType)と、その値(Value)との対応関係を示している。現状は、0〜7が決められている。128以降はMPEG以外まで拡張可能なので、例えば、128を、新たに、“ID_EXT_ELE_userdata”のタイプの値として定義する。
図23は、「userdataConfig()」の構成(syntax)を示している。「userdata_identifier」の32ビットフィールドは、予め定義された配列の値がセットされることでオーディオ・ユーザデータであることを示す。「userdata_frameLength」の16ビットフィールドは、「audio_userdata()」のバイト数を示す。図24は、「audio_userdata()」の構成(syntax)を示している。「userdataConfig()」の「userdata_identifier」が“AAAA”でユーザデータを示す場合、「metadataType」の8ビットフィールドが存在する。このフィールドは、メタデータのタイプを示す。例えば、“0x08”は、所定のネットサービスに接続するためのアクセス情報であり、ATSCの「SDO_payload()」に含まれることを示す。“0x08”であるとき、「SDO_payload()」(図12参照)が存在する。
[セットトップボックスの構成例]
図25は、セットトップボックス200の構成例を示している。このセットトップボックス200は、受信部204と、DASH/MP4解析部205と、ビデオデコーダ206と、オーディオフレーミング部207と、HDMI送信部208と、HDMI端子209を有している。また、セットトップボックス200は、CPU211と、フラッシュROM212と、DRAM213と、内部バス214と、リモコン受信部215と、リモコン送信機216を有している。
CPU211は、セットトップボックス200の各部の動作を制御する。フラッシュROM212は、制御ソフトウェアの格納およびデータの保管を行う。DRAM213は、CPU211のワークエリアを構成する。CPU211は、フラッシュROM212から読み出したソフトウェアやデータをDRAM213上に展開してソフトウェアを起動させ、セットトップボックス200の各部を制御する。
リモコン受信部215は、リモコン送信機216から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU211に供給する。CPU211は、このリモコンコードに基づいて、セットトップボックス200の各部を制御する。CPU211、フラッシュROM212およびDRAM213は内部バス214に接続されている。
受信部204は、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を受信する。MP4に含まれるオーディストリームには、メタデータとして、所定のネットサービスに接続するためのアクセス情報が挿入されている。また、MPDファイルには、“Supplementary Descriptor”により、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。
DASH/MP4解析部205は、受信部204で受信されたMPDファイルおよびMP4を解析する。DASH/MP4解析部205は、MPDファイルに含まれるMPD情報を抽出し、CPU211に送る。ここで、このMPD情報には、オーディオストリームにメタデータが挿入されていることを示す識別情報なども含まれる。CPU211は、このMPD情報に基づいて、ビデオ、オーディオのストリームの取得処理を制御する。また、DASH/MP4解析部205は、MP4からメタデータ、例えば、各トラックのヘッダ情報やコンテンツ内容のメタ記述、時刻情報などを抽出し、CPU211に送る。
DASH/MP4解析部205は、MP4からビデオストリームを抽出し、ビデオデコーダ206に送る。ビデオデコーダ206は、ビデオストリームに復号化処理を行って非圧縮の画像データを得る。また、DASH/MP4解析部205は、MP4からオーディオストリームを抽出し、オーディオフレーミング部207に送る。オーディオフレーミング部207は、オーディオストリームに対してフレーミングを行う。
HDMI送信部208は、HDMIに準拠した通信により、ビデオデコーダ206で得られた非圧縮の画像データと、オーディオフレーミング部207でフレーミングされた後のオーディオストリームを、HDMI端子209から送出する。HDMI送信部208は、HDMIのTMDSチャネルで送信するため、画像データおよびオーディオストリームをパッキングして、HDMI端子209に出力する。
HDMI送信部208は、CPU211の制御のもと、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。HDMI送信部208は、オーディオストリームおよび識別情報を画像データのブランキング期間に挿入する。このHDMI送信部209の詳細は後述する。
この実施の形態において、HDMI送信部208は、画像データのブランキング期間に配置されるオーディオ・インフォフレーム・パケット(Audio InfoFrame packet)に識別情報を挿入する。このオーディオ・インフォフレーム・パケットは、データアイランド区間に配置される。
図26は、オーディオ・インフォフレーム・パケットの構造例を示している。HDMIでは、このオーディオ・インフォフレーム・パケットにより、音声に関する付帯情報をソース機器からシンク機器に伝送可能となっている。
第0バイトにデータパケットの種類を示す「Packet Type」が定義されており、オーディオ・インフォフレーム・パケットは「0x84」となっている。第1バイトにパケットデータ定義のバージョン情報を記述する。第2バイトに、パケット長を表す情報を記述する。この実施の形態では、第5バイトの第5ビットに、「userdata_presence_flag」の1ビットフラグ情報が定義される。フラグ情報が“1”であるとき、オーディオストリームにメタデータが挿入されていることを示す。
また、フラグ情報が“1”であるとき、第9バイトに種々の情報が定義される。第7ビットから第5ビットは「metadata_type」のフィールドとされ、第4ビットは「coordinated_control_flag」のフィールドとされ、第2ビットから第0ビットは「frequency_type」のフィールドとされる。詳細説明は省略するが、これらの各フィールドは、図4に示すMPDファイルに付加されている各情報と同じ情報を示す。
セットトップボックス200の動作を簡単に説明する。受信部204では、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4が受信される。このように受信されるMPDファイルおよびMP4は、DASH/MP4解析部205に供給される。
DASH/MP4解析部205では、MPDファイルおよびMP4が解析される。そして、DASH/MP4解析部205では、MPDファイルに含まれるMPD情報が抽出され、CPU211に送られる。ここで、このMPD情報には、オーディオストリームにメタデータが挿入されていることを示す識別情報も含まれる。また、DASH/MP4解析部205では、MP4からメタデータ、例えば、各トラックのヘッダ情報やコンテンツ内容のメタ記述、時刻情報などが抽出され、CPU211に送られる。
また、DASH/MP4解析部205では、MP4からビデオストリームが抽出され、ビデオデコーダ206に送られる。ビデオデコーダ206では、ビデオストリームに復号化処理が施されて非圧縮の画像データが得られる。この画像データは、HDMI送信部208に供給される。また、DASH/MP4解析部205では、MP4からオーディオストリームが抽出される。このオーディオストリームはオーディオフレーミング部207でフレーミングされた後に、HDMI送信部208に供給される。そして、HDMI送信部208では、画像データおよびオーディオストリームがパッキングされ、HDMI端子209からHDMIケーブル400に送出される。
HDMI送信部208では、CPU211の制御のもと、画像データのブランキング期間に配置されるオーディオ・インフォフレーム・パケットに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入される。これにより、セットトップボックス200からHDMIテレビ受信機300に、オーディオストリームにメタデータが挿入されていることを示す識別情報を送信することが行われる。
[テレビ受信機の構成例]
図27は、テレビ受信機300の構成例を示している。このテレビ受信機300は、受信部306と、DASH/MP4解析部307と、ビデオデコーダ308と、映像処理回路309と、パネル駆動回路310と、表示パネル311を有している。
また、テレビ受信機300は、オーディオデコーダ312と、音声処理回路313と、音声増幅回路314と、スピーカ315と、HDMI端子316と、HDMI受信部317と、通信インタフェース318を有している。また、テレビ受信機300は、CPU321と、フラッシュROM322と、DRAM323と、内部バス324と、リモコン受信部325と、リモコン送信機326を有している。
CPU321は、テレビ受信機300の各部の動作を制御する。フラッシュROM322は、制御ソフトウェアの格納およびデータの保管を行う。DRAM323は、CPU321のワークエリアを構成する。CPU321は、フラッシュROM322から読み出したソフトウェアやデータをDRAM323上に展開してソフトウェアを起動させ、テレビ受信機300の各部を制御する。
リモコン受信部325は、リモコン送信機326から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU321に供給する。CPU321は、このリモコンコードに基づいて、テレビ受信機300の各部を制御する。CPU321、フラッシュROM322およびDRAM323は、内部バス324に接続されている。
通信インタフェース318は、CPU321の制御のもと、インターネット等のネットワーク上に存在するサーバとの間で通信を行う。この通信インタフェース318は、内部バス324に接続されている。
受信部306は、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を受信する。MP4に含まれるオーディストリームには、メタデータとして、所定のネットサービスに接続するためのアクセス情報が挿入されている。また、MPDファイルには、“Supplementary Descriptor”により、オーディオストリームにメタデータが挿入されていることを示す識別情報などが挿入されている。
DASH/MP4解析部307は、受信部306で受信されたMPDファイルおよびMP4を解析する。DASH/MP4解析部307は、MPDファイルに含まれるMPD情報を抽出し、CPU321に送る。CPU321は、このMPD情報に基づいて、ビデオ、オーディオのストリームの取得処理を制御する。また、DASH/MP4解析部307は、MP4からメタデータ、例えば、各トラックのヘッダ情報やコンテンツ内容のメタ記述、時刻情報などを抽出し、CPU321に送る。
DASH/MP4解析部307は、MP4からビデオストリームを抽出し、ビデオデコーダ308に送る。ビデオデコーダ308は、ビデオストリームに復号化処理を行って非圧縮の画像データを得る。また、DASH/MP4解析部307は、MP4からオーディオストリームを抽出し、オーディオデコーダ312に送る。
HDMI受信部317は、HDMIに準拠した通信により、HDMIケーブル400を介してHDMI端子316に供給される画像データおよびオーディオストリームを受信する。また、HDMI受信部317は、画像データのブランキング期間に挿入されている種々の制御情報を抽出し、CPU321に送信する。ここで、この制御情報には、オーディオ・インフォフレーム・パケットに挿入された、オーディオストリームにメタデータが挿入されていることを示す識別情報など(図26参照)も含まれる。このHDMI受信部317の詳細は後述する。
映像処理回路309は、ビデオデコーダ308で得られた、あるいはHDMI受信部316で得られた画像データ、さらには、通信インタフェース318でネット上のサーバから受信された画像データなどに対してスケーリング処理、合成処理などを行って、表示用の画像データを得る。
パネル駆動回路310は、映像処理回路308で得られる表示用の画像データに基づいて、表示パネル311を駆動する。表示パネル311は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成されている。
オーディオデコーダ312は、DASH/MP4解析部307で抽出された、あるいはHDMI受信部317で得られたオーディオストリームに対して復号化処理を行って非圧縮の音声データを得る。また、オーディオデコーダ312は、CPU321の制御のもと、オーディオストリームに挿入されているメタデータを抽出して、CPU321に送る。この実施の形態において、メタデータは、所定のネットサービスに接続するためのアクセス情報である(図12参照)。CPU321は、適宜、テレビ受信機300の各部にメタデータを用いた処理を行わせる。
なお、CPU321にはDASH/MP4解析部307からMPD情報が供給される。CPU321は、このMPD情報に含まれる識別情報により、オーディオストリームにメタデータが挿入されていることを予め認識でき、メタデータの抽出が行われるようにオーディオデコーダ312を制御できる。
音声処理回路313は、オーディオデコーダ312で得られた音声データに対してD/A変換等の必要な処理を行う。音声増幅回路314は、音声処理回路313から出力される音声信号を増幅してスピーカ315に供給する。
図27に示すテレビ受信機300の動作を簡単に説明する。受信部306では、サービス送信システム100から、RF伝送路または通信ネットワーク伝送路を通じて送られてくるDASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4が受信される。このように受信されるMPDファイルおよびMP4は、DASH/MP4解析部307に供給される。
DASH/MP4解析部307では、MPDファイルおよびMP4が解析される。そして、DASH/MP4解析部307では、MPDファイルに含まれるMPD情報が抽出され、CPU321に送られる。ここで、このMPD情報には、オーディオストリームにメタデータが挿入されていることを示す識別情報も含まれる。また、DASH/MP4解析部307では、MP4からメタデータ、例えば、各トラックのヘッダ情報やコンテンツ内容のメタ記述、時刻情報などが抽出され、CPU321に送られる。
また、DASH/MP4解析部307では、MP4からビデオストリームが抽出され、ビデオデコーダ308に送られる。ビデオデコーダ308では、ビデオストリームに復号化処理が施されて非圧縮の画像データが得られる。この画像データは、映像処理回路309に供給される。また、DASH/MP4解析部307では、MP4からオーディオストリームが抽出される。このオーディオストリームは、オーディオデコーダ312に供給される。
HDMI受信部317では、HDMIに準拠した通信により、HDMIケーブル400を介してHDMI端子316に供給される画像データおよびオーディオストリームが受信される。画像データは、映像処理回路309に供給される。また、オーディオストリームはオーディオデコーダ312に供給される。
また、HDMI受信部317では、画像データのブランキング期間に挿入されている種々の制御情報が抽出され、CPU321に送られる。この制御情報には、オーディオ・インフォフレーム・パケットに挿入された、オーディオストリームにメタデータが挿入されていることを示す識別情報なども含まれる。そのため、CPU321は、この識別情報に基づいて、オーディオデコーダ312の動作を制御し、オーディオストリームからメタデータを抽出させることが可能となる。
映像処理回路309では、ビデオデコーダ308で得られた、あるいはHDMI受信部317で得られた画像データ、さらには、通信インタフェース318でネット上のサーバから受信された画像データなどに対してスケーリング処理、合成処理などが施され、表示用の画像データが得られる。ここで、テレビ放送信号を受信して処理する場合は、映像処理回路309では、ビデオデコーダ308で得られた画像データが取り扱われる。一方、セットトップボックス200がHDMIインタフェースで接続される場合は、映像処理回路309では、HDMI受信部317で得られた画像データが取り扱われる。
映像処理回路309で得られた表示用の画像データはパネル駆動回路310に供給される。パネル駆動回路310では、表示用の画像データに基づいて、表示パネル311を駆動することが行われる。これにより、表示パネル311には、表示用の画像データに対応した画像が表示される。
オーディオデコーダ312では、DASH/MP4解析部307で得られた、あるいはHDMI受信部316で得られたオーディオストリームに対して復号化処理が行われて非圧縮の音声データが得られる。ここで、テレビ放送信号を受信して処理する場合は、オーディオデコーダ312では、DASH/MP4解析部307で得られたオーディオストリームが取り扱われる。一方、セットトップボックス200がHDMIインタフェースで接続される場合は、オーディオデコーダ312では、HDMI受信部317で得られたオーディオストリームが取り扱われる。
オーディオデコーダ312で得られる音声データは、音声処理回路313に供給される。音声処理回路313では、音声データに対してD/A変換等の必要な処理が施される。この音声データは、音声増幅回路314で増幅された後に、スピーカ315に供給される。そのため、スピーカ315から、表示パネル311の表示画像に対応した音声が出力される。
また、オーディオデコーダ312では、オーディオストリームに挿入されているメタデータが抽出される。例えば、このメタデータの抽出処理は、上述したように、CPU321が、オーディオストリームにメタデータが挿入されていることを識別情報に基づいて把握して、オーディオデコーダ312の動作を制御することで、無駄なく確実に行われる。
このようにオーディオデコーダ312で抽出されるメタデータは、CPU321に送られる。そして、CPU321の制御により、適宜、テレビ受信機300の各部でメタデータを用いた処理が行われる。例えば、ネットワーク上のサーバから画像データを取得して、マルチ画面表示が行われる。
[HDMI送信部、HDMI受信部の構成例]
図28は、図25に示すセットトップボックス200のHDMI送信部(HDMIソース)208と、図27に示すテレビ受信機300のHDMI受信部(HDMIシンク)317の構成例を示している。
HDMI送信部208は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部317に一方向に送信する。ここで、有効画像区間は、ある垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部208は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部317に一方向に送信する。
HDMI送信部208とHDMI受信部317とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部208からHDMI受信部317に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
HDMI送信部208は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル400を介して接続されているHDMI受信部317に、一方向にシリアル伝送する。
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMI受信部317に、一方向にシリアル伝送する。
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル400を介して接続されているHDMI受信部317に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
HDMI受信部317は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部208から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部317は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部208から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部317は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部208から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部208からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル400に含まれる図示しない2本の信号線からなる。DDC83は、HDMI送信部208が、HDMI受信部317から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
HDMI受信部317は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部208は、例えば、CPU211(図20参照)からの要求に応じて、HDMIケーブル400を介して接続されているHDMI受信部317から、E−EDIDを、DDC83を介して読み出す。
HDMI送信部208は、読み出したE−EDIDをCPU211に送る。CPU211は、このE−EDIDを、フラッシュROM212あるいはDRAM213に格納する。
CECライン84は、HDMIケーブル400に含まれる図示しない1本の信号線からなり、HDMI送信部208とHDMI受信部317との間で、制御用のデータの双方向通信を行うために用いられる。このCECライン84は、制御データラインを構成している。
また、HDMIケーブル400には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。なお、このHPDライン86は双方向通信路を構成するHEAC−ラインとしても使用される。また、HDMIケーブル400には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン87が含まれている。さらに、HDMIケーブル400には、ユーティリティライン88が含まれている。このユーティリティライン88は双方向通信路を構成するHEAC+ラインとしても使用される。
図29は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、ビデオデータ区間17(Video Data Period)、データアイランド区間18(Data Island Period)、およびコントロール区間19(Control Period)の3種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(Active Edge)から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間15(Horizontal Blanking)、垂直帰線期間16(Vertical Blanking)、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間14(Active Video)に分けられる。
ビデオデータ区間17は、有効画素区間14に割り当てられる。このビデオデータ区間17では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active Pixel)のデータが伝送される。データアイランド区間18およびコントロール区間19は、水平帰線期間15および垂直帰線期間16に割り当てられる。このデータアイランド区間18およびコントロール区間19では、補助データ(Auxiliary Data)が伝送される。
すなわち、データアイランド区間18は、水平帰線期間15と垂直帰線期間16の一部分に割り当てられている。このデータアイランド区間18では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間19は、水平帰線期間15と垂直帰線期間16の他の部分に割り当てられている。このコントロール区間19では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
次に、図30を参照して、テレビ受信機300におけるメタデータを用いた処理の具体例を説明する。テレビ受信機300は、例えば、メタデータとして、初期サーバURL、ネットワーク・サービス識別情報、対象ファイル名、セッション開始・終了コマンド、メディア記録・再生コマンドなどを取得する。なお、上述では、メタデータが所定のネットサービスに接続するためのアクセス情報である旨を述べたが、ここではその他の必要な情報もメタデータに含まれているものとする。
ネットワーククライアントであるテレビ受信機300は、初期サーバURLを用いて、プライマリサーバにアクセスする。そして、テレビ受信機300は、プライマリサーバから、ストリーミングサーバURL、対象ファイル名、ファイルのタイプを示すマイムタイプ、メディア再生時間情報などの情報を取得する。
そして、テレビ受信機300は、ストリーミングサーバURLを用いて、ストリーミングサーバにアクセスする。そして、テレビ受信機300は、対象ファイル名を指定する。ここで、マルチキャストでのサービスを受ける場合は、ネットワーク識別情報とサービス識別情報で番組のサービスを特定する。
そして、テレビ受信機300は、セッション開始・終了コマンドにより、ストリーミングサーバとの間のセッションを開始し、あるいはそのセッションを終了する。また、テレビ受信機300は、ストリーミングサーバとの間のセッション続行中に、メディア記録・再生コマンドを用いて、ストリーミングサーバからメディアデータを取得する。
なお、図30の例では、プライマリサーバとストリーミングサーバとが別個に存在している。しかし、これらのサーバは、一体的に構成されていてもよい。
図31は、テレビ受信機300でメタデータに基づいてネットサービスにアクセスする場合の画面表示の遷移例を示している。図31(a)は、表示パネル311に画像が表示されていない状態を示す。図31(b)は、放送受信が開始され、この放送受信に係るメインコンテンツが、表示パネル311に、全画面表示されている状態を示す。
図31(c)は、メタデータによるサービスへのアクセスがあり、テレビ受信機300とサーバとの間のセッションが開始された状態を示す。この場合、放送受信に係るメインコンテンツが全画面表示から部分画面表示となる。
図31(d)は、サーバからのメディア再生が行われ、表示パネル311に、メインコンテンツの表示と並行して、ネットサービスコンテンツ1が表示された状態を示す。そして、図31(e)は、サーバからのメディア再生が行われ、表示パネル311に、メインコンテンツの表示と並行して、サネットサービスコンテンツ1の表示と共に、ネットサービスコンテンツ2がメインコンテンツ表示上に重畳表示された状態を示す。
図31(f)は、ネットからのサービスコンテンツの再生が終了し、テレビ受信機300とサーバとの間のセッションが終了した状態を示す。この場合、表示パネル311に、放送受信に係るメインコンテンツが全画面表示される状態に戻る。
なお、図27に示すテレビ受信機300は、スピーカ315を備え、図32に示すように、オーディオデコーダ312で得られた音声データが音声処理回路313および音声増幅回路314を介してスピーカ315に供給され、このスピーカ315から音声が出力される構成とされている。
しかし、図33に示すように、テレビ受信機300はスピーカを備えず、DASH/MP4解析部307あるいはHDMI受信部317で得られるオーディオストリームをインタフェース部331から外部スピーカシステム350に供給する構成も考えられる。インタフェース部331は、例えば、HDMI(High-Definition Multimedia Interface)、SPDIF(Sony Philips Digital Interface)、MHL(Mobile High-definition Link)などのデジタルインタフェースである。
この場合、オーディオストリームは、外部スピーカシステム350が有するオーディオデコーダ351aで復号化処理が行われ、この外部スピーカシステム350から音声が出力される。なお、テレビ受信機300がスピーカ315を備える場合(図32参照)であっても、オーディオストリームをインタフェース部331から外部スピーカシステム350に供給する構成(図33参照)もさらに考えられる。
上述したように、図3(a),(b)に示す送受信システム10,10´において、サービス送信システム100は、MPDファイルに、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。そのため、受信側(セットトップボックス200、テレビ受信機300)では、オーディオストリームにメタデータが挿入されていることを容易に認識できる。
また、図3(a)に示す送受信システム10において、セットトップボックス200は、メタデータが挿入されたオーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、テレビ受信機300に、HDMIで送信する。そのため、テレビ受信機300では、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータを取得して利用できる。
また、図3(b)に示す送受信システム10´において、テレビ受信機300は、MPDファイルに挿入されている識別情報に基づいて、オーディオストリームからメタデータを抽出して処理に用いる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
<2.変形例>
なお、上述の実施の形態において、送受信システム10,10´として、DASH/MP4を取り扱う例を示したが、MPEG2−TSを取り扱う例も同様に考えられる。
[送受信システムの構成]
図34は、MPEG2−TSを取り扱う送受信システムの構成例を示している。図34(a)の送受信システム10Aは、サービス送信システム100Aと、セットトップボックス(STB)200Aと、テレビ受信機(TV)300Aを有している。セットトップボックス200Aとテレビ受信機300Aは、HDMI(High Definition Multimedia Interface)ケーブル400を介して接続されている。た、図3(b)の送受信システム10A´は、サービス送信システム100Aと、テレビ受信機(TV)300Aを有している。
サービス送信システム100Aは、MPEG2−TSのトランスポートストリームTSを、RF伝送路または通信ネットワーク伝送路を通じて、送信する。サービス送信システム100Aは、オーディオストリームに、メタデータを挿入する。このメタデーとしては、例えば、所定のネットサービスに接続するためのアクセス情報、所定のコンテンツ情報などが考えられる。ここでは、上述実施の形態と同様に、所定のネットサービスに接続するためのアクセスアクセス情報が挿入されるものとする。
サービス送信システム100Aは、コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報を挿入する。サービス送信システム100Aは、この識別情報を、例えば、プログラムマップテーブル(PMT:Program Map Table)の配下のオーディオ・エレメンタリストリーム・ループに内にデスクリプタとして挿入する。
セットトップボックス200Aは、サービス送信システム100Aから、RF伝送路または通信ネットワーク伝送路を通じて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、ビデオストリームおよびオーディオストリームが含まれており、オーディオストリームにはメタデータが挿入されている。
セットトップボックス200Aは、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、HDMIケーブル400を介して、テレビ受信機300Aに送信する。
ここで、セットトップボックス200Aは、ビデオストリームをデコードして得られた画像データのブランキング期間にオーディオストリームおよび識別情報を挿入し、この画像データをテレビ受信機300Aに送信することで、オーディオストリームおよび識別情報をテレビ受信機300Aに送信する。セットトップボックス200Aは、この識別情報を、例えば、オーディオ・インフォフレーム・パケット(Audio InfoFrame packet)に挿入する(図26参照)。
テレビ受信機300Aは、図34(a)に示す送受信システム10Aにあっては、セットトップボックス200Aから、HDMIケーブル400を介して、オーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、受信する。すなわち、テレビ受信機300Aは、セットトップボックス200Aから、オーディオストリームおよび識別情報がブランキング期間に挿入されている画像データを受信する。
そして、テレビ受信機300Aは、識別情報に基づいて、オーディオストリームをデコードしてメタデータを抽出し、このメタデータを用いた処理をする。この場合、テレビ受信機300Aは、メタデータとしての所定のネットサービス情報に基づいて、ネットワーク上の所定のサーバにアクセスする。
また、テレビ受信機300Aは、図34(b)に示す送受信システム10A´にあっては、サービス送信システム100Aから、RF伝送路または通信ネットワーク伝送路を通じて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSに含まれるオーディストリームには、メタデータとして、所定のネットサービスに接続するためのアクセス情報が挿入されている。また、コンテナのレイヤに、オーディオストリームにメタデータが挿入されていることを示す識別情報が挿入されている。
そして、テレビ受信機300Aは、識別情報に基づいて、オーディオストリームをデコードしてメタデータを抽出し、このメタデータを用いた処理をする。この場合、テレビ受信機300Aは、メタデータとしての所定のネットサービス情報に基づいて、ネットワーク上の所定のサーバにアクセスする。
[サービス送信システムのTS生成部]
図35は、サービス送信システム100Aが備えるTS生成部110Aの構成例を示している。この図35において、図8と対応する部分には、同一符号を付して示している。このTS生成部110Aは、制御部111と、ビデオエンコーダ112と、オーディオエンコーダ113と、TSフォーマッタ114Aを有している。
制御部111は、CPU111aを備えており、TS生成部110Aの各部を制御する。ビデオエンコーダ112は、画像データSVに対して、MPEG2、H.264/AVC、H.265/HEVCなどの符号化を施し、ビデオストリーム(ビデオエレメンタリストリーム)を生成する。画像データSVは、例えば、HDDなどの記録媒体から再生された画像データ、あるいはビデオカメラで得られたライブ画像データなどである。
オーディオエンコーダ113は、音声データSAに対して、AAC、AC3、AC4、MPEGH(3Dオーディオ)などの圧縮フォーマットによる符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。音声データSAは、上述の画像データSVに対応した音声データであり、HDDなどの記録媒体から再生された音声データ、あるいはマイクロホンで得られたライブ音声データなどである。
オーディオエンコーダ113は、オーディオ符号化ブロック部113aおよびオーディオフレーミング部113bを有している。オーディオ符号化ブロック部113aで符号化ブロックが生成され、オーディオフレーミング部113bでフレーミングが行われる。この場合、圧縮フォーマットにより、符号化ブロックが異なると共に、フレーミングも異なる。
オーディオエンコーダ113は、制御部111による制御のもと、オーディオストリームに、メタデータMDを挿入する。このメタデータMDとしては、例えば、所定のネットサービスに接続するためのアクセス情報、所定のコンテンツ情報などが考えられる。ここでは、上述実施の形態と同様に、所定のネットサービスに接続するためのアクセスアクセス情報が挿入されるものとする。
このメタデータMDは、オーディオストリームのユーザデータ領域に挿入される。詳細説明は省略するが、各圧縮フォーマットにおけるメタデータMDの挿入は上述実施の形態におけるDASH/MP4生成部110における場合と同様に行われ、メタデータMDとして「SDO_payload()」が挿入される(図8−図24参照)。
TSフォーマッタ114Aは、ビデオエンコーダ112から出力されるビデオストリームおよびオーディオエンコーダ113から出力されるオーディオストリームを、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
また、TSフォーマッタ114Aは、プログラムマップテーブル(PMT)の配下に、オーディオストリームにメタデータMDが挿入されていることを示す識別情報を挿入する。この識別情報の挿入には、オーディオ・ユーザデータ・デスクリプタ(audio_userdata_descriptor)を用いる。このデスクリプタの詳細については後述する。
図35に示すTS生成部110Aの動作を簡単に説明する。画像データSVはビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データSVに対してH.264/AVC、H.265/HEVCなどの符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。
また、音声データSAは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、その音声データSAに対して、AAC、AC3、AC4、MPEGH(3Dオーディオ)などの符号化が施され、オーディオストリームが生成される。
この際、制御部111からオーディオエンコーダ113に、メタデータMDが供給されると共に、このメタデータMDをユーザデータ領域に埋め込むためのサイズ情報が供給される。そして、オーディオエンコーダ113では、オーディオストリームのユーザデータ領域に、メタデータMDを埋め込むことが行われる。
ビデオエンコーダ112で生成されたビデオストリームは、TSフォーマッタ114Aに供給される。また、オーディオエンコーダ113で生成された、ユーザデータ領域にメタデータMDが埋め込まれたオーディオストリームは、TSフォーマッタ114Aに供給される。
このTSフォーマッタ114Aでは、各エンコーダから供給されるストリームがパケット化されて多重され、伝送データとしてトランスポートストリームTSが得られる。また、このTSフォーマッタ114Aでは、プログラムマップテーブル(PMT)の配下に、オーディオストリームにメタデータMDが挿入されていることを示す識別情報が挿入される。
[オーディオ・ユーザデータ・デスクリプタの詳細]
図36は、オーディオ・ユーザデータ・デスクリプタ(audio_userdata_descriptor)の構造例(Syntax)を示している。また、図37は、その構造例における主要な情報の内容(Semantics)を示している。
「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、オーディオ・ユーザデータ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
「audio_codec_type」の8ビットフィールドは、オーディオの符号化方式(圧縮フォーマット)を示す。例えば、“1”は「MPEGH」を示し、“2”は「AAC」を示し、“3”は「AC3」を示し、“4”は「AC4」を示す。この情報の付加により、受信側では、オーディオストリームにおける音声データの符号化方式を容易に把握できる。
「metadata_type」の3ビットフィールドは、メタデータのタイプを示す。例えば、“1”は、「userdata()」のフィールドに、所定のネットサービスに接続するためのアクセス情報を持つ、ATSCの「SDO_payload()」が置かれることを示す。この情報の付加により、受信側では、メタデータのタイプ、すなわちメタデータがどのようなメタデータであるかを容易に把握でき、例えば取得するか否かの判断を行うことも可能となる。
「coordinated_control_flag」の1ビットフラグ情報は、メタデータがオーディオストリームのみに挿入されているか否かを示す。例えば、“1”は他のコンポーネントのストリームにも挿入されていることを示し、“0”はオーディオストリームのみに挿入されていることを示す。この情報の付加により、受信側では、メタデータがオーディオストリームのみに挿入されているか否かを容易に把握できる。
「frequency_type」の3ビットフィールドは、オーディオストリームに対するメタデータの挿入頻度のタイプを示す。例えば、“1”は各オーディオアクセスユニットに一つのユーザデータ(メタデータ)が挿入されていることを示す。“2”は一つのオーディオアクセスユニットに複数のユーザデータ(メタデータ)が挿入されていることを示す。さらに、“3”はランダムアクセスポイントを含むグループ毎に、その先頭のオーディオアクセスユニットに少なくとも一つのユーザデータ(メタデータ)が挿入されていることを示す。この情報の付加により、受信側では、オーディオストリームに対するメタデータの挿入頻度を容易に把握できる。
[トランスポートストリームTSの構成]
図38は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES」が存在すると共に、PID2で識別されるオーディオストリームのPESパケット「audio PES」が存在する。PESパケットは、PESヘッダ(PES_header)とPESペイロード(PES_payload)からなっている。PESヘッダには、DTS,PTSのタイムスタンプが挿入されている。オーディオストリームのPESパケットのPESペイロードにはメタデータを含むユーザデータ領域が存在する。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)が存在すると共に、オーディオストリームに対応したオーディオエレメンタリストリーム・ループ(audio ES loop)が存在する
ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は「0x24」に設定され、PID情報は、上述したようにビデオストリームのPESパケット「video PES」に付与されるPID1を示すものとされる。デスクリプタの一つして、HEVC デスクリプタが配置される。
また、オーディオエレメンタリストリーム・ループ(audio ES loop)には、オーディオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのオーディオストリームに関連する情報を記述するデスクリプタも配置される。このオーディオストリームの「Stream_type」の値は「0x11」に設定され、PID情報は、上述したようにオーディオストリームのPESパケット「audio PES」に付与されるPID2を示すものとされる。デスクリプタの一つとして、上述したオーディオ・ユーザデータ・デスクリプタ(audio_userdata_descriptor)が配置される。
[セットトップボックスの構成例]
図39は、セットトップボックス200Aの構成例を示している。この図39において、図25と対応する部分には同一符号を付して示している。受信部204Aは、サービス送信システム100Aから、RF伝送路または通信ネットワーク伝送路を通じて送られてくるトランスポートストリームTSを受信する。
TS解析部205Aは、トランスポートストリームTSからビデオストリームのパケットを抽出し、ビデオデコーダ206に送る。ビデオデコーダ206は、デマルチプレクサ205で抽出されたビデオのパケットからビデオストリームを再構成し、復号化処理を行って非圧縮の画像データを得る。また、TS解析部205Aは、トランスポートストリームTSからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。オーディオフレーミング部207は、このように再構成されたオーディオストリームに対してフレーミングを行う。
なお、TS解析部205Aから転送されるオーディオストリームをオーディオフレーミング部207へ送ることと並行し、図示せぬオーディオデコーダでデコードし、オーディオ出力を行うことも可能である。
また、TS解析部205Aは、トランスポートストリームTSから各種デスクリプタなどを抽出し、CPU211に送信する。ここで、デスクリプタには、オーディオストリームにメタデータが挿入されていることを示す識別情報としてのオーディオ・ユーザデータ・デスクリプタ(図36参照)も含まれる。
詳細説明は省略するが、この図39に示すセットトップボックス200Aのその他は、図25に示すセットトップボックス200と同様に構成され、同様の動作をする。
[テレビ受信機の構成例]
図40は、テレビ受信機300Aの構成例を示している。この図40において、図27と対応する部分には同一符号を付して示している。受信部306Aは、サービス送信システム100Aから、RF伝送路または通信ネットワーク伝送路を通じて送られてくるトランスポートストリームTSを受信する。
TS解析部307Aは、トランスポートストリームTSからビデオストリームのパケットを抽出し、ビデオデコーダ308に送る。ビデオデコーダ308は、デマルチプレクサ205で抽出されたビデオのパケットからビデオストリームを再構成し、復号化処理を行って非圧縮の画像データを得る。また、TS解析部307Aは、トランスポートストリームTSからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。
また、TS解析部307Aは、トランスポートストリームTSからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。また、TS解析部307Aは、トランスポートストリームTSから各種デスクリプタなどを抽出し、CPU321に送信する。ここで、このデスクリプタには、オーディオストリームにメタデータが挿入されていることを示す識別情報としてのオーディオ・ユーザデータ・デスクリプタ(図36参照)も含まれる。
詳細説明は省略するが、この図40に示すテレビ受信機300Aのその他は、図27に示すテレビ受信機300と同様に構成され、同様の動作をする。
上述したように、図34(a),(b)に示す画像表示システム10A,10A´において、サービス送信システム100Aは、オーディオストリームにメタデータを挿入すると共に、オーディオストリームにメタデータが挿入されていることを示す識別情報をコンテナのレイヤに挿入する。そのため、受信側(セットトップボックス200A、テレビ受信機300A)では、オーディオストリームにメタデータが挿入されていることを容易に認識できる。
また、図34(a)に示す画像表示システム10Aにおいて、セットトップボックス200Aは、メタデータが挿入されたオーディオストリームを、このオーディオストリームにメタデータが挿入されていることを示す識別情報と共に、テレビ受信機300Aに、HDMIで送信する。そのため、テレビ受信機300Aでは、オーディオストリームにメタデータが挿入されていることを容易に認識でき、この認識に基づいてオーディオストリームに挿入されているメタデータの抽出処理を行うことで、無駄なく確実にメタデータを取得して利用できる。
また、図34(b)に示す画像表示システム10A´において、テレビ受信機300Aは、オーディオストリームと共に受信される識別情報に基づいてこのオーディオストリームからメタデータを抽出して処理に用いる。そのため、オーディオストリームに挿入されているメタデータを無駄なく確実に取得でき、メタデータを用いた処理を適切に実行できる。
また、上述実施の形態において、セットトップボックス200はテレビ受信機300に画像データ、オーディオストリームを送信する構成となっている。しかし、テレビ受信機300の代わりに、モニタ装置、あるいはプロジェクタ等に送信する構成も考えられる。また、セットトップボックス200の代わりに、受信機能付きのレコーダ、パーソナルコンピュータ等である構成も考えられる。
また、上述実施の形態において、セットトップボックス200とテレビ受信機300はHDMIケーブル400で接続されてなるものである。しかし、これらの間が、HDMIと同様のデジタルインタフェースで有線接続される場合、さらには、無線によって接続される場合にも、この発明を同様に適用できることは勿論である。
なお、本技術は、以下のような構成もとることができる。
(1)メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する送信部と、
上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を上記メタファイルに挿入する情報挿入部とを備える
送信装置。
(2)上記メタデータは、所定のネットサービスに接続するためのアクセス情報である
前記(1)に記載の送信装置。
(3)上記メタデータは、URI情報を示すキャラクタコードである
前記(2)に記載の送信装置。
(4)上記メタファイルは、MPDファイルである
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記情報挿入部は、
“Supplementary Descriptor”を用いて、上記メタファイルに上記識別情報を挿入する
前記(4)に記載の送信装置。
(6)上記送信部は、
上記メタファイルをRF伝送路または通信ネットワーク伝送路を通じて送信する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記送信部は、
上記メタデータが挿入されたオーディオストリームを含む所定フォーマットのコンテナをさらに送信する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記コンテナは、MP4である
前記(7)に記載の送信装置。
(9)送信部により、メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する送信ステップと、
上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を上記メタファイルに挿入する情報挿入ステップとを有する
送信方法。
(10)メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記オーディオストリームを、上記オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
受信装置。
(11)上記メタデータは、所定のネットサービスに接続するためのアクセス情報である
前記(10)に記載の受信装置。
(12)上記メタファイルは、MPDファイルであり、
上記メタファイルには、“Supplementary Descriptor”により、上記識別情報が挿入されている
前記(10)または(11)に記載の受信装置。
(13)上記送信部は、
画像データのブランキング期間に上記オーディオストリームおよび上記識別情報を挿入し、該画像データを上記外部機器に送信することで、上記オーディオストリームおよび上記識別情報を上記外部機器に送信する
前記(10)から(12)のいずれかに記載の受信装置。
(14)上記所定の伝送路は、HDMIケーブルである
前記(10)から(13)のいずれかに記載の受信装置。
(15)受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信ステップを有し、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記オーディオストリームを、上記オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信ステップをさらに有する
受信方法。
(16)メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
上記メタデータを用いた処理を行う処理部とをさらに備える
受信装置。
(17)上記メタファイルは、MPDファイルであり、
上記メタファイルには、“Supplementary Descriptor”により、上記識別情報が挿入されている
前記(16)に記載の受信装置。
(18)上記メタデータは、所定のネットサービスに接続するためのアクセス情報であり、
上記処理部は、
上記ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスする
前記(16)または(17)に記載の受信装置。
(19)受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信ステップを有し、
上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出ステップと、
上記メタデータを用いた処理を行う処理ステップとをさらに有する
受信方法。
(20)ネットワークアクセス情報を含むメタデータが挿入されたオーディオストリームを生成するストリーム生成部と、
上記オーディオストリームを有する所定フォーマットのコンテナを送信する送信部とを備える
送信装置。
本技術の主な特徴は、DASH/MP4の配信でオーディオストリームにメタデータを挿入する場合に、オーディオストリームにメタデータが挿入されていることを示す識別情報をMPDファイルに挿入することで、受信側において、オーディオストリームにメタデータが挿入されていることを容易に認識可能としたことである(図3、図4参照)。
10,10´,10A,10A´・・・送受信システム
14・・・有効画素区間
15・・・水平帰線期間
16・・・垂直帰線期間
17・・・ビデオデータ区間
18・・・データアイランド区間
19・・・コントロール区間
30A,30B・・・MPEG−DASHベースのストリーム配信システム
31・・・DASHストリームファイルサーバ
32・・・DASH MPDサーバ
33,33-1〜33-N・・・受信システム
34・・・CDN
35,35-1〜35-M・・・受信システム
36・・・放送送出システム
81・・・HDMIトランスミッタ
82・・・HDMIレシーバ
83・・・DDC
84・・・CECライン
85・・・EDID ROM
100,100A・・・サービス送信システム
110・・・DASH/MP4生成部
110A・・・TS生成部
111・・・制御部
111a・・・CPU
112・・・ビデオエンコーダ
113・・・オーディオエンコーダ
113a・・・オーディオ符号化ブロック部
113b・・・オーディオフレーミング部
114・・・DASH/MP4フォーマッタ
114A・・・TSフォーマッタ
200,200A・・・セットトップボックス(STB)
204,204A・・・受信部
205・・・DASH/MP4解析部
205A・・・TS解析部
206・・・ビデオデコーダ
207・・・オーディオフレーミング部
208・・・HDMI送信部
209・・・HDMI端子
211・・・CPU211
212・・・フラッシュROM
213・・・DRAM
214・・・内部バス
215・・・リモコン受信部
216・・・リモコン送信機
300,300A・・・テレビ受信機
306,306A・・・受信部
307・・・DASH/MP4解析部
307A・・・TS解析部
308・・・ビデオデコーダ
309・・・映像処理回路
310・・・パネル駆動回路
311・・・表示パネル
312・・・オーディオデコーダ
313・・・音声処理回路
314・・・音声増幅回路
315・・・スピーカ
316・・・HDMI端子
317・・・HDMI受信部
318・・・通信インタフェース
321・・・CPU
322・・・フラッシュROM
323・・・DRAM
324・・・内部バス
325・・・リモコン受信部
326・・・リモコン送信機
350・・・外部スピーカシステム
400・・・HDMIケーブル

Claims (20)

  1. メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する送信部と、
    上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を上記メタファイルに挿入する情報挿入部とを備える
    送信装置。
  2. 上記メタデータは、所定のネットサービスに接続するためのアクセス情報である
    請求項1に記載の送信装置。
  3. 上記メタデータは、URI情報を示すキャラクタコードである
    請求項2に記載の送信装置。
  4. 上記メタファイルは、MPDファイルである
    請求項1に記載の送信装置。
  5. 上記情報挿入部は、
    “Supplementary Descriptor”を用いて、上記メタファイルに上記識別情報を挿入する
    請求項4に記載の送信装置。
  6. 上記送信部は、
    上記メタファイルをRF伝送路または通信ネットワーク伝送路を通じて送信する
    請求項1に記載の送信装置。
  7. 上記送信部は、
    上記メタデータが挿入されたオーディオストリームを含む所定フォーマットのコンテナをさらに送信する
    請求項1に記載の送信装置。
  8. 上記コンテナは、MP4である
    請求項7に記載の送信装置。
  9. 送信部により、メタデータが挿入されたオーディオストリームを受信装置で取得するためのメタ情報を持つメタファイルを送信する送信ステップと、
    上記オーディオストリームに上記メタデータが挿入されていることを示す識別情報を上記メタファイルに挿入する情報挿入ステップとを有する
    送信方法。
  10. メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
    上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
    上記オーディオストリームを、上記オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信部をさらに備える
    受信装置。
  11. 上記メタデータは、所定のネットサービスに接続するためのアクセス情報である
    請求項10に記載の受信装置。
  12. 上記メタファイルは、MPDファイルであり、
    上記メタファイルには、“Supplementary Descriptor”により、上記識別情報が挿入されている
    請求項10に記載の受信装置。
  13. 上記送信部は、
    画像データのブランキング期間に上記オーディオストリームおよび上記識別情報を挿入し、該画像データを上記外部機器に送信することで、上記オーディオストリームおよび上記識別情報を上記外部機器に送信する
    請求項10に記載の受信装置。
  14. 上記所定の伝送路は、HDMIケーブルである
    請求項10に記載の受信装置。
  15. 受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信ステップを有し、
    上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
    上記オーディオストリームを、上記オーディオストリームにメタデータが挿入されていることを示す識別情報と共に、所定の伝送路を介して、外部機器に送信する送信ステップをさらに有する
    受信方法。
  16. メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信部を備え、
    上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
    上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出部と、
    上記メタデータを用いた処理を行う処理部とをさらに備える
    受信装置。
  17. 上記メタファイルは、MPDファイルであり、
    上記メタファイルには、“Supplementary Descriptor”により、上記識別情報が挿入されている
    請求項16に記載の受信装置。
  18. 上記メタデータは、所定のネットサービスに接続するためのアクセス情報であり、
    上記処理部は、
    上記ネットワークアクセス情報に基づいて、ネットワーク上の所定のサーバにアクセスする
    請求項16に記載の受信装置。
  19. 受信部により、メタデータが挿入されたオーディオストリームを取得するためのメタ情報を持つメタファイルを受信する受信ステップを有し、
    上記メタファイルには、上記オーディオストリームに上記メタデータの挿入があることを示す識別情報が挿入されており、
    上記識別情報に基づいて、上記オーディオストリームをデコードして上記メタデータを抽出するメタデータ抽出ステップと、
    上記メタデータを用いた処理を行う処理ステップとをさらに有する
    受信方法。
  20. ネットワークアクセス情報を含むメタデータが挿入されたオーディオストリームを生成するストリーム生成部と、
    上記オーディオストリームを有する所定フォーマットのコンテナを送信する送信部とを備える
    送信装置。
JP2016514783A 2014-09-12 2015-09-07 送信装置、送信方法、受信装置および受信方法 Active JP6809221B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014186155 2014-09-12
JP2014186155 2014-09-12
PCT/JP2015/075313 WO2016039285A1 (ja) 2014-09-12 2015-09-07 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020204046A Division JP7099510B2 (ja) 2014-09-12 2020-12-09 受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016039285A1 true JPWO2016039285A1 (ja) 2017-06-22
JP6809221B2 JP6809221B2 (ja) 2021-01-06

Family

ID=55459033

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016514783A Active JP6809221B2 (ja) 2014-09-12 2015-09-07 送信装置、送信方法、受信装置および受信方法
JP2020204046A Active JP7099510B2 (ja) 2014-09-12 2020-12-09 受信装置および受信方法
JP2022105148A Active JP7468575B2 (ja) 2014-09-12 2022-06-29 受信装置および受信方法
JP2024009245A Pending JP2024050685A (ja) 2014-09-12 2024-01-25 送信装置、受信装置および受信方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020204046A Active JP7099510B2 (ja) 2014-09-12 2020-12-09 受信装置および受信方法
JP2022105148A Active JP7468575B2 (ja) 2014-09-12 2022-06-29 受信装置および受信方法
JP2024009245A Pending JP2024050685A (ja) 2014-09-12 2024-01-25 送信装置、受信装置および受信方法

Country Status (8)

Country Link
US (4) US10547701B2 (ja)
EP (1) EP3193330A4 (ja)
JP (4) JP6809221B2 (ja)
KR (4) KR102355472B1 (ja)
CN (4) CN113037767A (ja)
CA (1) CA2929052A1 (ja)
MX (1) MX2016005809A (ja)
WO (1) WO2016039285A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547701B2 (en) 2014-09-12 2020-01-28 Sony Corporation Transmission device, transmission method, reception device, and a reception method
CN107211200B (zh) * 2015-02-13 2020-04-17 三星电子株式会社 用于发送/接收媒体数据的方法和设备
KR20240119188A (ko) * 2018-02-22 2024-08-06 돌비 인터네셔널 에이비 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
US10771828B2 (en) 2018-09-18 2020-09-08 Free Stream Media Corp. Content consensus management
US11416208B2 (en) * 2019-09-23 2022-08-16 Netflix, Inc. Audio metadata smoothing
CN112351317A (zh) * 2020-10-13 2021-02-09 北京巨目智播科技有限公司 一种自适应播放终端播放方法及装置
KR20240091520A (ko) 2022-12-14 2024-06-21 세풍이엔피공업 주식회사 음식물쓰레기 처리장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム
WO2014109321A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941553B2 (en) * 2002-10-18 2011-05-10 International Business Machines Corporation Method and device for streaming a media file over a distributed information system
EP1566966A4 (en) * 2003-03-25 2007-02-28 Matsushita Electric Ind Co Ltd DATA TRANSMISSION DEVICE
JP4846352B2 (ja) * 2005-11-28 2011-12-28 ソフトバンクBb株式会社 マルチメディア視聴システム及びマルチメディア視聴方法
KR101513283B1 (ko) * 2007-10-15 2015-04-17 톰슨 라이센싱 버스트 모드 활동을 통신하기 위한 장치 및 방법
JP2011523309A (ja) * 2008-06-06 2011-08-04 ディヴィクス インコーポレイテッド マルチメディアファイルのためのフォントファイル最適化システム及び方法
JP5085462B2 (ja) * 2008-08-11 2012-11-28 ソニー株式会社 情報記録装置、撮像装置、情報記録方法およびプログラム
US8315994B2 (en) * 2008-10-31 2012-11-20 Disney Enterprises, Inc. System and method for updating digital media content
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
JP5577823B2 (ja) * 2010-04-27 2014-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8468453B2 (en) * 2010-08-12 2013-06-18 Echostar Technologies L.L.C. User-selected media content blocking
US9116988B2 (en) * 2010-10-20 2015-08-25 Apple Inc. Temporal metadata track
TWI574565B (zh) * 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
CN110062422A (zh) * 2011-10-21 2019-07-26 弗劳恩霍夫应用研究促进协会 无线资源管理设备及方法
KR101719998B1 (ko) * 2011-12-12 2017-03-27 엘지전자 주식회사 미디어 컨텐트를 수신하는 장치 및 방법
CN104185996B (zh) * 2012-04-05 2017-07-21 华为技术有限公司 用于基于iso基媒体文件格式的自适应流媒体的安全异步事件通知的系统和方法
CN103621075A (zh) * 2012-04-24 2014-03-05 索尼公司 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
EP2869579B1 (en) * 2012-07-02 2017-04-26 Sony Corporation Transmission apparatus, transmission method, and network apparatus for multi-view video streaming using a meta file including cache priority or expiry time information of said video streams
JP2014017741A (ja) 2012-07-10 2014-01-30 Sharp Corp コンテンツ送信装置、コンテンツ再生装置、コンテンツ配信システム、コンテンツ送信装置の制御方法、コンテンツ再生装置の制御方法、制御プログラムおよび記録媒体
US9191429B2 (en) * 2012-07-13 2015-11-17 Qualcomm Incorporated Dynamic resolution of content references for streaming media
BR112015006455B1 (pt) * 2012-10-26 2022-12-20 Apple Inc Terminal móvel, servidor operável para adaptação de multimídia com base em orientação de vídeo, método para adaptação de multimídia em um servidor com base em orientação de dispositivo de um terminal móvel e meio de armazenamento legível por máquina
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
CN107578781B (zh) * 2013-01-21 2021-01-29 杜比实验室特许公司 利用响度处理状态元数据的音频编码器和解码器
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US9756363B2 (en) * 2013-08-20 2017-09-05 Lg Electronics Inc. Apparatus for transmitting media data via streaming service, apparatus for receiving media data via streaming service, method for transmitting media data via streaming service and method for receiving media data via streaming service
CN105723718B (zh) * 2014-01-03 2019-04-16 Lg 电子株式会社 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法
US10476930B2 (en) * 2014-01-06 2019-11-12 Intel IP Corporation Client/server signaling commands for dash
US9866608B2 (en) * 2014-03-24 2018-01-09 Qualcomm Incorporated Processing continuous multi-period content
US10798430B2 (en) * 2014-06-20 2020-10-06 Saturn Licensing Llc Reception device, reception method, transmission device, and transmission method
EP3163881A4 (en) * 2014-06-25 2018-01-24 LG Electronics Inc. Broadcast signal transmission device, broadcast signal receiving device, broadcast signal transmission method and broadcast signal receiving method
US10547701B2 (en) 2014-09-12 2020-01-28 Sony Corporation Transmission device, transmission method, reception device, and a reception method
US10325221B2 (en) * 2015-06-02 2019-06-18 Microsoft Technology Licensing, Llc Metadata tag description generation
JP6989172B2 (ja) * 2019-04-22 2022-01-05 株式会社ニイタカ 表面改質樹脂容器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065566A1 (ja) * 2011-11-01 2013-05-10 ソニー株式会社 再生装置、再生方法、及びプログラム
WO2014109321A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20230067389A1 (en) 2023-03-02
US20160248870A1 (en) 2016-08-25
CN105706164A (zh) 2016-06-22
CN105706164B (zh) 2021-04-13
KR102355472B1 (ko) 2022-01-26
WO2016039285A1 (ja) 2016-03-17
JP7468575B2 (ja) 2024-04-16
CN113037767A (zh) 2021-06-25
JP6809221B2 (ja) 2021-01-06
US11025737B2 (en) 2021-06-01
KR20220016285A (ko) 2022-02-08
KR20170059915A (ko) 2017-05-31
CN113099291A (zh) 2021-07-09
US20210368019A1 (en) 2021-11-25
EP3193330A4 (en) 2018-04-11
US11509737B2 (en) 2022-11-22
CN113037768A (zh) 2021-06-25
KR102643537B1 (ko) 2024-03-06
US10547701B2 (en) 2020-01-28
JP2024050685A (ja) 2024-04-10
JP7099510B2 (ja) 2022-07-12
KR102498740B1 (ko) 2023-02-13
MX2016005809A (es) 2016-08-01
JP2021057905A (ja) 2021-04-08
KR20230022281A (ko) 2023-02-14
CA2929052A1 (en) 2016-03-17
KR20240032178A (ko) 2024-03-08
US20200120175A1 (en) 2020-04-16
EP3193330A1 (en) 2017-07-19
JP2022141686A (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7099510B2 (ja) 受信装置および受信方法
US10848801B2 (en) Transmission device, transmission method, reception device, and reception method
JP2023052611A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
JP6891806B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10812838B2 (en) Transmission device, transmission method, reception device, and reception method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6809221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151