JP6743704B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6743704B2
JP6743704B2 JP2016561482A JP2016561482A JP6743704B2 JP 6743704 B2 JP6743704 B2 JP 6743704B2 JP 2016561482 A JP2016561482 A JP 2016561482A JP 2016561482 A JP2016561482 A JP 2016561482A JP 6743704 B2 JP6743704 B2 JP 6743704B2
Authority
JP
Japan
Prior art keywords
information
component
transmission
layer
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016561482A
Other languages
English (en)
Other versions
JPWO2016084591A1 (ja
Inventor
北里 直久
直久 北里
山岸 靖明
靖明 山岸
淳 北原
淳 北原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016084591A1 publication Critical patent/JPWO2016084591A1/ja
Application granted granted Critical
Publication of JP6743704B2 publication Critical patent/JP6743704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、放送・通信のハイブリッドシステムに適用して好適な送信装置等に関する。
現在の放送システムでは、メディアのトランスポート方式として、MPEG−2 TS(Moving Picture Experts Group-2 Transport Stream)方式やRTP(Real Time Protocol)方式が広く使用されている(例えば、特許文献1を参照)。次世代のデジタル放送方式として、MMT(MPEG Media Transport)方式(例えば、非特許文献1参照)が検討されている。
特開2013−153291号公報
ISO/IEC DIS 23008-1:2013(E) Information technology-High efficiency coding and media delivery in heterogeneous environments-Part1:MPEG media transport(MMT)
本技術の目的は、例えば、放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択の容易性を確保することにある。
本技術の概念は、
所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
送信装置にある。
本技術において、伝送ストリーム生成部により、所定のコンポーネントを含む第1の伝送パケットと、この所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームが生成される。送信部により、この伝送ストリームが、所定の伝送路を通じて、受信側に送信される。例えば、所定の伝送路は、放送伝送路である、ようにされてもよい。
情報挿入部により、第2の伝送パケットに、コンポーネント選択情報が挿入される。このコンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成される。そして、アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる。
例えば、伝送パケットは、MMTパケットであり、コンポーネント選択情報は、MPTに含まれている、ようにされてもよい。この場合、例えば、アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、メタファイルは、MPDファイルであり、メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる、ようにされてもよい。
このように本技術においては、第2の伝送パケットに、3レイヤのコンポーネント選択情報が挿入されるものである。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる。そのため、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
また、本技術の他の概念は、
所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
受信装置にある。
本技術において、受信部により、所定の伝送路を通じて、伝送ストリームが受信される。この伝送ストリームには、所定のコンポーネントを含む第1の伝送パケットと、この所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化されている。例えば、第1の伝送路は放送伝送路である、ようにされてもよい。
第2の伝送パケットには、コンポーネント選択情報が挿入されている。このコンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されている。そして、アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされている。
コンポーネント選択部により、コンポーネント選択情報に基づいて提示すべきコンポーネントが選択される。この場合、例えば、アダプティブ切り替えの対象となっているコンポーネントの切り替えはメタファイルに基づいて行われる。
例えば、伝送パケットは、MMTパケットであり、各コンポーネントの選択情報は、MPTに含まれている、ようにされてもよい。この場合、例えば、アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、メタファイルは、MPDファイルであり、メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている、ようにされてもよい。
このように本技術においては、第2の伝送パケットに、3レイヤのコンポーネント選択情報が挿入されているものである。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされている。そのため、例えば放送・通信のハイブリッドシステムにおいて、コンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
なお、本技術において、例えば、メタファイルを取得するメタファイル取得部をさらに備える、ようにされてもよい。この場合、例えば、メタファイルは、放送伝送路あるいは通信伝送路のいずれかを通じて取得される。また、本技術において、コンポーネント選択部は、コンポーネント選択情報にユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する、ようにされてもよい。
本技術によれば、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択の容易性を確保できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての放送・通信ハイブリッドシステムの構成例を示すブロック図である。 MMT/放送の信号構成例のスタックモデルを示す図である。 MMT方式放送ストリームの構成例を示す図である。 MMTパケットの構成例とMMTPペイロード(MMTP payload)の構成例を示す図である。 一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示す図である。 放送送出システムから受信端末に送信される1つのチャンネル(放送番組)の放送信号のイメージを示す図である。 MPDファイルの階層構造を示す図である。 MPDファイルに含まれる各構造体の一例を時間軸上に並べて示した図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 MMT/通信の信号構成例のスタックモデルを示す図である。 PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構成例を概略的に示す図である。 PAメッセージの主要なパラメータの説明を示す図である。 MPテーブルの主要なパラメータの説明を示す図である。 PAメッセージの構造例(Syntax)を示す図である。 MPテーブル(MPT)の構造例(Syntax)を示す図である。 「MMT_general_location_info()」の構造例(Syntax)の一部を示す図である。 受信端末のハイブリッド配信における処理フローを示す図である。 コンポーネントレイヤモデルの一例を示す図である。 MPTのコンポーネント選択情報とMPDファイルを説明するための図である。 アセット取得先情報としてのMPDファイルの特定の情報位置の指定について説明するための図である。 放送・通信ハイブリッドシステムで想定される信号構成の一例を示す図である。 MPTの対応するアセットでMPDファイルの特定のリプレゼンテーションの情報位置を指定する場合におけるMPTとMPDファイルの構成例を概略的に示す図である。 MPTの対応するアセットでMPDファイルの特定のアダプテーションセットの情報位置を指定する場合におけるMPTとMPDファイルの構成例を概略的に示す図である。 ビュー記述子の構造例を示す図である。 合成コンポーネントタイプ記述子の構造例を示す図である。 アセットグループ記述子の構造例を示す図である。 依存関係記述子の構造例を示す図である。 映像コンポーネント記述子の構造例を示す図である。 音声コンポーネント記述子の構造例を示す図である。 対象デバイス記述子の構造例を示す図である。 対象地域記述子の構造例を示す図である。 パレンタルレート記述子の構造例を示す図である。 放送・通信ハイブリッドシステムを構成する放送送出システムの構成例を示すブロック図である。 放送・通信ハイブリッドシステムを構成する受信端末の構成例を示すブロック図である。 コンポーネント選択GUIの一例を示す図である。 受信端末におけるコンポーネント選択・取得プロセスのユースケース(マルチビュー)を説明するための図である。 マルチビューの例に対応したコンポーネントレイヤモデルを示す図である。 マルチビューの例に対応したMPTとMPDファイルの記載例を概略的に示す図である。 受信端末のビュー表示変更の一例を説明するための図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[放送・通信ハイブリッドシステムの構成例]
図1は、放送・通信ハイブリッドシステム10の構成例を示している。放送・通信ハイブリッドシステム10において、送信側には放送送出システム100、配信サーバ300およびDASHセグメントサーバ400が配置され、受信側には受信端末200が配置されている。配信サーバ300およびDASHセグメントサーバ400は、通信ネットワーク500を通じて受信端末200に接続される。
放送送出システム100は、ビデオ、オーディオ、キャプションなどのコンポーネント(アセット)を伝送メディアとして含むIP(Internet Protocol)方式の放送信号を送信する。配信サーバ300は、ビデオ、オーディオなどのコンポーネント(アセット)を伝送メディアとして含むIPパケットが連続的に配置された伝送ストリームを、受信側からの要求に応じ、通信ネットワーク500を通じて、受信側に送る。
DASHセグメントサーバ400は、ビデオ、オーディオなどのDASH(Dynamic Adaptive Streaming over HTTP)仕様のストリームセグメント(以下、「DASHセグメント」という)を、受信側からの要求に応じ、通信ネットワーク500を通じて、受信側に送る。すなわち、DASHセグメントサーバ400は、受信側から送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを含むIPパケットを、通信ネットワーク500を通じて、要求元に送信する。
受信端末200は、放送送出システム100から送られてくるIP方式の放送信号を受信すると共に、配信サーバ300やDASHセグメントサーバ400からIPパケットが連続的に配置された伝送ストリームを受信する。受信端末200は、このような放送・通信のハイブリッド伝送による受信信号から、提示すべきビデオ、オーディオなどの伝送メディア(コンポーネント)を取得し、画像、音声などを提示する。
図2は、放送送出システム100からの放送に係るMMT/放送の信号構成例のスタックモデルを示している。下位レイヤにTLV(Type Length Value)の伝送パケットが存在する。このTLVの伝送パケットの上にIPパケットが載る。なお、伝送制御信号がシグナリング(Signaling)情報として載ったTLV伝送パケットも存在する。
IPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、多重化トランスポートパケットとしてのMMT(MPEG Media Transport)パケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ、キャプション等のコンポーネントの符号化データを含むMFU(MMT Fragment Unit)、あるいは伝送メディアに関する情報を含むシグナリングメッセージ(Signaling Message)が含まれる。なお、IPパケットには、UDPの上に時刻情報を含むNTP(Network Time Protocol)パケットが載ったIPパケットも存在する。
図3は、MMT方式放送ストリームの構成例を示している。図3(a)は、ビデオのエレメンタリストリーム(Video ES)を示している。このビデオのエレメンタリストリームは、所定の大きさの固まりに分割され、図3(b)に示すように、MFUのペイロード部に配置される。
図3(c)に示すように、MFUにMMTペイロードヘッダ(MMT payload header)が付加されてMMTPペイロード(MMTP payload)が構成される。そして、図3(d)に示すように、このMMTPペイロードにさらにMMTヘッダ(MMT header)が付加されて、MMTパケット(MMT packet)が構成される。なお、ペイロード部に、シグナリングメッセージ(Signaling Message)を含むMMTパケットも存在する。図3(e)に示すように、MMTパケットに、UDPヘッダ、IPヘッダおよびTLVヘッダが付加されて、MMT方式放送ストリームを構成するTLVパケット(TLV packet)が生成される。
なお、図示は省略されているが、TLVパケットとしては、さらに、オーディオ、キャプションなどのその他のコンポーネントのMMTパケットを含むTLVパケットも存在する。このMMT方式放送ストリームは、伝送メディア(コンポーネント)を含む第1のパケット(MMTパケット)と、シグナリング情報を含む第2のパケット(MMTパケット)を持つものとなる。
図4(a)は、MMTパケットの構成例を示している。MMTパケットは、MMTパケットヘッダ(MMTP header)と、MMTPペイロード(MMTP payload)とからなる。「V」の2ビットフィールドは、MMTプロトコルのバージョンを示す。MMT規格第1版に従う場合、このフィールドは“00”とされる。「C」の1ビットフィールドは、パケットカウンタフラグ(packet_counter_flag)情報を示し、パケットカウンタフラグが存在する場合は“1”となる。「FEC」の2ビットフィールドは、FECタイプ(FEC_type)を示す。
「X」の1ビットフィールドは、拡張ヘッダフラグ(extension_flag)情報を示し、MMTパケットのヘッダ拡張を行う場合は“1”とされる。この場合、後述する「header_extension」のフィールドが存在する。「R」の1ビットフィールドは、RAPフラグ(RAP_flag)情報を示し、このMMTパケットが伝送するMMTペイロードがランダムアクセスポイントの先頭を含む場合は“1”とされる。
「type」の6ビットフィールドは、ペイロードタイプ(payload_type)情報であり、MMTPペイロードのデータタイプを示す。例えば、「0x00」はペイロードがMPU(Media Processing Unit)であることを示し、「0x02」はペイロードがシグナリングメッセージ(Signaling message)であることを示す。
「packet_id」の16ビットフィールドは、ペイロードのデータ種類を識別するためのパケット識別子(packet_id)を示す。「timestamp」の32ビットフィールドは、伝送のためのタイプスタンプ、すなわちMMTパケットが送信側から出ていくときの時刻を示す。この時刻は、NTPショートフォーマット(NTP short format)で表される。「packet_sequence_number」の32ビットフィールドは、同一のパケット識別子(packet_id)を持つMMTパケットのシーケンス番号を示す。「packet_counter」の32ビットフィールドは、パケット識別子(packet_id)の値に関係なく、同一のIPデータフローにおけるMMTパケットの順序を示す。
上述の「X」の1ビットフラグ情報が「1」であるとき、「packet_counter」の32ビットフィールドの後に、MMT拡張ヘッダである「header_extension」のフィールドが配置される。その後に、MMTPペイロード(MMTP payload)を構成する「payload data」のフィールドおよび「source_FEC_payload_ID」のフィールドが存在する。
図4(b)は、上述のMMTパケットの「payload data」のフィールドに配置されるMMTPペイロード(MMTP payload)の構成例(Syntax)を示している。なお、この例は、MMTヘッダの「type」が「0x00」であるMPUモードである場合を示している。最初にヘッダ情報が存在する。「length」の16ビットフィールドは、MMTPペイロード全体のバイトサイズを示す。“FT”の4ビットフィールドは、フィールドタイプを示す。 “0”は「MPU metadata」を含むことを示し、“1”は「Movie Fragment metadata」を含むことを示し、“2”は「MFU」を含むことを示す。
ここで、MFU(MMT Fragment Unit)は、MPUが細分化、すなわちフラグメント(Fragment)化されたものである。例えば、ビデオの場合、このMFUを一つのNALユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このMFUを一つまたは複数のMTUサイズ(MTU size)で構成することもできる。
また、MPUは、ランダムアクセスポイント(RAP:Random Access Pint)から始まるものであり、1つまたは複数のアクセスユニット(AU:Access Unit)を含むものである。具体的には、例えば、1つのGOP(Group Of Picture)のピクチャが、一つのMPUの構成となることがある。このMPUは、アセット別(コンポーネント別)に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのMPUが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのMPUが作成される。
「T」の1ビットフラグ情報は、タイムドメディア(Timed Media)を伝送するか、ノンタイムドメディア(Non-Timed Media)を伝送するかを示す。“1”はタイムドメディアを示し、“0”はノンタイムドメディアを示す。
「f_i」の2ビットフィールドは、「DU payload」のフィールドに、整数個のデータユニット(DU:Data Unit)が入っているか、データユニットが断片化されて得られたフラグメント(Fragment)の最初(first)、中間、最後(last)のいずれが入っているかを示す。“0”は整数個のデータユニットが入っていることを示し、“1”は最初のフラグメントが入っていることを示し、“2”は中間のフラグメントが入っていることを示し、“3”は最後のフラグメントが入っていることを示す。
「A」の1ビットフラグ情報は、「DU payload」のフィールドに、複数個のデータユニットが入っているか否かを示す。“1”は入っていることを示し、“0”は入っていないことを示す。「frag_counter」の8ビットフィールドは、「f_i」が1〜3であるとき、何番目のフラグメントであるかを示す。
「MPU_sequence_number」の32ビットフィールドは、MPUの順番を示す番号であり、MPUを識別する情報である。例えば、1つのGOPが1つのMPUを構成する場合、あるGOPの「MPU_sequence_number」が「i」であるとき、次のGOPの「MPU_sequence_number」は「i+1」となる。
この「MPU_sequence_number」のフィールドの後に、「DU_length」、「DU_header」、「DU_payload」の各フィールドが配置される。「DU_length」の16ビットフィールドは、上述の「A=0」である場合、つまり「DU payload」のフィールドに複数個のデータユニットが入っていない場合は存在しない。また、「DU_header」のフィールドは、“FT=0/1”である場合、つまり「MPU metadata」や「Movie Fragment metadata」を含む場合は存在しない。
MMT方式では、ビデオなどの伝送メディアを、フラグメント化されたISOBMFF(ISO Base Media File Format)に基づいたコンテンツフォーマットで伝送する。図5は、一つのGOPのビデオデータを送るときのMMTファイル(MMT file)とMMTPペイロード(MMTP payload)との対応関係の一例を示している。
MMTファイルの構成は、基本的には、MP4のファイル構成とほぼ同等である。最初に“ftyp”のボックス(Box)がある。続いて、MMT独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。続いて、ムービーフラグメント(Movie Fragment)がある。このムービーフラグメントは、制御情報が入る“moof”ボックスと、ビデオの符号化データが入る“mdat”ボックスからなる。ここでは、一つのGOPが一つのMPUの構成となることを想定しているので、ムービーフラグメントは一組だけ存在する。
“ftyp”,“mmpu”,“moov”の各ボックスのメタデータは、「MPU metadata」として、一つのMMTパケットで伝送される。この場合、“FT=0”である。“moof”ボックスのメタデータは、「Movie Fragment metadata」として、一つのMMTパケットで伝送される。この場合、“FT=1”である。“mdat”ボックスに含まれるビデオの符号化データは、「MFU」に断片化され、それぞれが一つのMMTパケットで伝送される。この場合、“FT=2”である。
図6は、放送送出システム100から受信端末200に送信される1つのチャンネル(1つの放送番組)に係る放送信号のイメージの一例を示している。この放送信号には、ビデオ、オーディオなどのMMTパケットと共に、シグナリングメッセージを含むMMTパケットも含まれる。シグナリングメッセージとして、例えば、PAメッセージ(PA message)、MPIメッセージ(MPI message)などが存在する。
PAメッセージには、MPテーブル(MPT)などの各種テーブルが含まれる。MPIメッセージには、MPD(Media Presentation Description)ファイルそのもの、あるいはMPDファイルを取得するための取得先情報としてのURL(Uniform Resource Locator)などが含まれる。このMPDファイルには、上述したDASHセグメントサーバ400から配信されるビデオ、オーディオなどのコンポーネント(アセット)を管理するメタデータが記述されている。このMPDファイルは、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルを構成している。
MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。受信側では、そのレートの値を参考にして、ネットワーク環境の状態に応じて、最適なストリームを選択できる。
MPDファイルは、図7に示すように、階層構造をとる。このMPDファイルには、DASHセグメントサーバ400に格納した動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がXML形式で階層的に記述される。このMPDファイルには、ピリオド(Period)、アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、セグメントインフォ(SegmentInfo)、イニシャライゼーション・セグメント(Initialization Segment)、メディア・セグメント(Media Segment)などの構造体が、階層的に含まれている。
ピリオドの構造体は、プログラム(同期を取った1組のビデオやオーディオ等のデータ)の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲(リプレゼンテーション群)をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、ビデオやオーディオの符号化速度、ビデオの画像サイズなどの情報を持つ。
また、リプレゼンテーションの構造体に含まれるセグメントインフォの構造体は、ビデオやオーディオのセグメント関連の情報を持つ。また、セグメントインフォの構造体に含まれるイニシャライゼーション・セグメントの構造体は、データ圧縮方式などの初期化情報を持つ。また、セグメントインフォの構造体に含まれるメディア・セグメントの構造体は、ビデオやオーディオのセグメントを取得するアドレスなどの情報を持つ。
図8は、上述のMPDファイルに含まれる各構造体の一例を時間軸上に並べて示したものである。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドにアダプテーションセットが2個含まれ、各アダプテーションセットにストリーム属性の異なる同一内容のストリームに係るリプレゼンテーションが2個含まれている。
図9は、MPDファイルに階層的に配置されている各構造体の関係の一例を示している。図9(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
図9(b)に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図9(c)に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
図9(d)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図9(e)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
図10は、配信サーバ300からの配信に係るMMT/通信の信号構成例のスタックモデルを示している。MMT/通信による配信オプションとして、(A)マルチキャスト配信、(B)MMTP/UDP配信、(C)MMTP/TCP配信、(D)MMTP/HTTP配信、(E)MPU/HTTP配信が考えられる。
「(A)マルチキャスト配信」
マルチキャスト配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、MMT(MPEG Media Transport)パケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
このマルチキャスト配信の場合、放送・通信ハイブリッド利用としては、輻輳対応を考慮すると最も望ましい方式である。また、このマルチキャスト配信の場合、UDP伝送なので、伝送効率はよいが、パケットロスの問題があるので、AL−FEC(Application Layer-Forward Error Correction)を必要とする可能性がある。
また、このマルチキャスト配信の場合、マネージドネットワーク(Managed Network)に直接接続されている受信端末のみが利用可能となる。また、このマルチキャスト配信の場合、マルチキャストIPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
「(B)MMTP/UDP配信」
MMTP/UDP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、UDP(User Datagram Protocol)が載る。そして、UDPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
このMMTP/UDP配信の場合、ユニキャスト(Unicast)なので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/UDP配信の場合、UDP伝送なので、伝送効率はよいが、AL−FECを必要とする可能性がある。また、マルチキャスト配信の場合、トータル遅延や同期の面では、TCPに比べると良好である。
また、このMMTP/UDP配信の場合、ユニキャストなので、広く一般のインターネット接続機器で利用可能となり得るが、ルータ設定によってはデフォルトでは利用できない可能性がある。このMMTP/UDP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
「(C)MMTP/TCP配信」
MMTP/TCP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCP(Transmission Control Protocol)が載る。そして、TCPの上に、MMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
このMMTP/TCP配信の場合、ユニキャストなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMMTP/TCP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/TCP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL−FECは不要となる。
また、このMMTP/TCP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
「(D)MMTP/HTTP配信」
MMTP/HTTP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCPが載る。そして、TCPの上に、HTTP(Hyper Text Transfer Protocol)が載り、さらにその上にMMTパケットが載る。このMMTパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
このMMTP/HTTP配信の場合、HTTPなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMMTP/HTTP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMMTP/HTTP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL−FECは不要となる。
また、このMMTP/HTTP配信の場合、IPストリームが、複数のアセット(コンポーネント)が多重化されたMMTPストリームを伝送するケースと、単体のアセットのみを含むMMTPストリームを伝送するケースとがある。
「(E)MPU/HTTP配信」
MPU/HTTP配信の場合、下位レイヤにIPパケットが存在する。このIPパケットの上に、TCPが載る。そして、TCPの上に、HTTPが載り、このHTTPパケットのペイロード部には、ビデオ、オーディオ等のコンポーネントの符号化データを含むMPUが含まれる。
このMPU/HTTP配信の場合、HTTPなので、広く一般のインターネット接続機器で利用可能となり得る。また、このMPU/HTTP配信の場合、ユニキャストなので、放送・通信ハイブリッド利用としては、輻輳の問題がある。また、このMPU/HTTP配信の場合、TCP伝送なので効率は犠牲となるが、再送が可能なので、AL−FECは不要となる。
また、このMPU/HTTP配信の場合、MMTパケットが介在しないのでMMTP/HTTP配信に比べて伝送効率は良くなるが、逆にMMTPヘッダ等の情報が消失する課題がある。また、このMPU/HTTP配信の場合、受信端末は、HTTPにより、単一のアセット(コンポーネント)の個々のMPUファイルを取得するものとなる。
図11は、PAメッセージ(Package Access Message)およびMPテーブル(MPT:MMT Package Table)の構造を概略的に示している。また、図12は、PAメッセージの主要なパラメータの説明を示し、図13は、MPテーブルの主要なパラメータの説明を示している。
「message_id」は、各種シグナリング情報において、PAメッセージを識別する固定値である。「version」は、PAメッセージのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、PAメッセージのサイズを示すバイト数である。
「extension」のフィールドには、ペイロード(Payload)のフィールドに配置されるテーブルのインデックス情報が配置される。このフィールドには、「table_id」、「table_version」、「table_length」の各フィールドが、テーブル数だけ配置される。「table_id」は、テーブルを識別する固定値である。「table_version」は、テーブルのバージョンを示す。「table_length」は、テーブルのサイズを示すバイト数である。
PAメッセージのペイロード(Payload)のフィールドには、MPテーブル(MPT)と、所定数のその他のテーブル(Other table)が配置される。以下、MPテーブルの構成について説明する。
「table_id」は、各種シグナリング情報において、MPテーブルを識別する固定値である。「version」は、MPテーブルのバージョンを示す8ビット整数値である。例えば、MPテーブルを構成する一部のパラメータでも更新した場合には、+1インクリメントされる。「length」は、このフィールドの直後からカウントされる、MPテーブルのサイズを示すバイト数である。
「pack_id」は、放送および通信で伝送される全てのアセット(コンポーネント)を構成要素とする全体のパッケージとしての識別情報である。この識別情報は、テキスト情報である。「pack_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「MPT_descripors」のフィールドは、パッケージ全体に関わる記述子の格納領域である。「MPT_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
「num_of_asset」は、パッケージを構成する要素としてのアセット(コンポーネント)の数を示す。この数分だけ、以下のアセットループが配置される。「asset_id」は、アセットをユニークに識別する情報(アセットID)である。この識別情報は、テキスト情報である。「asset_id_len」は、そのテキスト情報のサイズ(バイト数)を示す。「gen_loc_info」は、アセットの取得先のロケーションを示す情報である。「asset_descriptors」のフィールドは、アセットに関わる記述子の格納領域である。「asset_dsc_len」は、そのフィールドのサイズ(バイト数)を示す。
なお、図14は、上述したPAメッセージの構造例(Syntax)を示している。また、図15は、上述したMPテーブル(MPT)の構造例(Syntax)を示している。図11における「gen_loc_info」のフィールドは、図15における「asset_location」のフィールドに対応し、アセットの取得先のロケーションを示す情報として複数の「MMT_general_location_info()」の配置が可能となっている。また、図11における「asset_descriptors」のフィールドは、図15における「asset_descriptors」のフィールドに対応している。
図16は、「MMT_general_location_info()」の構造例(Syntax)の一部を示している。「location_type」の8ビットフィールドは、アセットの取得先のロケーションを示す情報(以下、適宜、「ロケーション情報」という)のタイプを示している。放送で送られてくるアセットの場合、「location_type」は“0x00”とされ、ロケーション情報として、パケット識別子(packt_id)が挿入される。
また、上述の(A)マルチキャスト配信のプロトコルで配信されるアセットの場合、「location_type」は“0x01”あるいは“0x02”とされ、ロケーション情報として、ソースアドレス(ipv4_src_addr,ipv6_src_addr」と、デストネーションアドレス(ipv4_dst_addr,ipv6_dst_addr)と、デストネーションポート番号(dst_port)と、パケット識別子(packt_id)が挿入される。この場合、「location_type」により、マルチキャスト配信であることが識別される。
また、上述の(B)MMTP/UDP配信、(C)MMTP/TCP配信、(D)MMTP/HTTP配信あるいは(E)MPU/HTTP配信のプロトコルで配信されるアセットである場合、「location_type」は“0x05”とされ、ロケーション情報として、URL(Uniform Resource Locator)が配置される。
図17は、受信端末200の処理フロー、すなわちハイブリッド配信における処理フローを示している。受信端末200は、ステップST1において、コンポーネントレイヤモデル(Component Layering Model)に沿って、提示すべきコンポーネントの選択をする。この場合、受信端末200は、MPTに挿入されているコンポーネント選択情報(コンポーネントレイヤモデル)に基づいて、コンポーネント選択を行う。
次に、受信端末200は、ステップST2において、選択したコンポーネントのロケーション解決をすると共に、コンポーネントを取得する。この場合、受信端末200は、シグナリング情報として挿入されているコンポーネントの取得先情報に基づいてコンポーネント取得を行う。そして、受信端末200は、ステップST3において、選択したコンポーネントの同期再生を行う。
コンポーネントレイヤモデルについて説明する。図18、コンポーネントレイヤモデルの一例を示している。このコンポーネントレイヤモデルは、アダプティブレイヤ(Adaptive layer)、コンポジットレイヤ(Composite layer)、セレクティブレイヤ(Selective layer)の3つのレイヤ構造からコンポーネント選択を行うためのモデルである。
アダプティブレイヤは、最下位に位置するレイヤであって、適応的にコンポーネントを切り替えるレイヤである。コンポジットレイヤは、真ん中に位置するレイヤであって、信号合成を行って別の信号にするレイヤである。セレクティブレイヤは、最上位に位置するレイヤであって、最終的に提示するコンポーネントを選択するレイヤである。各レイヤについてさらに説明する。
セレクティブレイヤは、各コンポーネントカテゴリ(component category)において、複数のコンポーネント選択肢から、ユーザ選択、または端末自動選択により固定的にコンポーネントを選択するレイヤである。ここで、コンポーネントカテゴリとは、ビデオとかオーディオとかの選択する単位を意味する。図示の例では、ビデオ、オーディオの2つのカテゴリが示されている。
このセレクティブレイヤでは、例えば、以下のような利用が想定される。
(1)属性に基づいて、端末が自動選択するか、あるいは選択のためのGUI(graphical user interface)が表示されてユーザ選択させることにより、コンポーネントを選択する。
(2)コンポーネント選択肢が1つだけの場合には選択なしにその1つのコンポーネントを選択する。
(3)異なるコンポーネントカテゴリの組み合わせで選択するケースもある。
(4)複数のコンポーネントを選択した場合、映像、キャプション(字幕)の場合には複数画面表示とし、音声の場合にはミキシング出力とする。
このセレクティブレイヤでは、例えば、以下のような属性が用いられる。
(1)コンビネーションタグ:1つのビューを構成する異なるコンポーネントカテゴリの組み合わせの識別子(ID)である。このコンビネーションタグが存在する場合はカテゴリ横断で選択がなされる。
(2)言語:言語は、言語コードで示される。
(3)映像パラメータ:映像パラメータは、解像度、フレームレート、3D情報などである。
(4)音声パラメータ:音声パラメータは、マルチチャンネルモード、サンプリングレートなどである。
(5)対象地域:対象地域は、地域コードで示される。
(6)対象デバイス:対象デバイスは、デバイスタイプで示される。
(7)ビュータイトル:ビュータイトルは、ビューの選択用タイトルである。
(8)目的:目的は、例えばナレーションなどである。
コンポジットレイヤは、各コンポーネントカテゴリにおいて複数のコンポーネントを合成して1つのコンポーネントとして機能させるレイヤである。このコンポジットレイヤの上にセレクティブレイヤがあるということは、合成した信号を1つの信号とみなしてセレクティブレイヤで選択する、ということを意味する。
このコンポジットレイヤでは、例えば、以下のような利用が想定される。
(1)合成のタイプを示す属性と合成の位置づけを示す属性値に基づいて合成する。
(2)コンポーネントが一つだけの場合は、合成動作は不要とする。
このコンポジットレイヤでは、例えば、以下のような、合成タイプと合成位置づけ情報が属性として用いられる。なお、以下の例は、位置づけが「位置づけ1」と「位置づけ2」の2つの場合を示している。
(1)合成タイプはスケーラブルである、合成位置づけ情報はベース(Base)、エクステンデッド(Extended)である。例えば、ベースではHD解像度の表示が可能であるが、ベースおよびエクステンデッドの両方で4K解像度の表示が可能となる。
(2)合成タイプは3Dであり、合成位置づけ情報は左(Left)、右(Right)である。
(3)合成タイプはタイルであり、合成位置づけ情報は“TileA1”,”TileA2”の画像タイリングの位置である。ここで、タイルは、画像を横とか縦に並べて視野の大きな画像を得ることを意味する。
(4)合成タイプはレイヤであり、合成位置づけ情報は“Layer1”,”Layer2”の重ね合わせの奥からの順位である。ここで、レイヤとは、画像を奥から順に重ね合わせていくことを意味する。
(5)合成タイプはミキシングであり、合成位置づけ情報はトラック1、トラック2である。
アダプティブレイヤは、各コンポーネントカテゴリにおいて複数のコンポーネントを端末の適応的判断に基づきダイナミックに切り替えて1つのコンポーネントとして機能させるレイヤである。
このアダプティブレイでは、例えば、以下のような利用が想定される。
(1)いわゆるアダプティブストリーミングとして、一定時間(例えば10秒)毎に最適なコンポーネントを端末が自動選択し切り替える。
(2)切り替え対象のコンポーネントが1つのみの場合には適応切り替え動作は不要で、そのコンポーネントを常に選択する。
(3)通信経路によるコンポーネントのみの場合には、通信路の輻輳状況によって変化する端末の受信バッファの占有状況に応じて、適切なビットレートのコンポーネントを選択する。
(4)放送経路によるコンポーネントが含まれる場合にはそのビットレートにより通信コンポーネントとの選択を判断する。
(5)放送経路のコンポーネントが複数存在するケースとしては、物理的な受信信号強度(Robustness)に基づき、天気が良い時は高品質なノーマルロバストネス(Normal Robustness)な信号で伝送されるコンポーネントを選択し、悪天候においては低品質なハイロバストネス(High Robustness)な信号で伝送されるコンポーネントを選択するケースが考えられる。
このアダプティブレイヤでは、例えば、以下のような属性が用いられる。
(1)経路:経路は、放送経路、通信経路などである。
(2)ビットレート
(3)ロバストネス(Robustness)指標: ノーマルロバストネス、ハイロバストネスなどである。
(4)映像パラメータ: 映像パラメータは、解像度、フレームレートなどである。
(5)音声パラメータ:音声パラメータは、マルチチャンネルモード、サンプリングレートなどである。
図18に示すコンポーネントレイヤモデルは、ビデオおよびオーディオの各カテゴリにおけるコンポーネント選択情報を示している。セレクティブレイヤでは、カテゴリ毎に、1つまたは複数のコンポーネントの選択が可能であることが示されている。ここで、2つのカテゴリ間にコンビネーションタグで組み合わせられたコンポーネントが存在し、カテゴリ横断で選択すべきことが示されている。
コンポジットレイヤでは、セレクティブレイヤで選択肢とされる各コンポーネントの合成処理を示している。合成対象のコンポーネントが一つだけの場合は、そのコンポーネントがそのままセレクティブレイヤで選択肢とされることが示されている。アダプティブレイヤでは、コンポジットレイヤで使用される各コンポーネントの適応切り替え処理を示している。切り替え対象のコンポーネントが1つのみの場合、そのコンポーネントが常に選択されることが示されている。
上述したように、受信端末200は、シグナリング情報として挿入されているコンポーネント選択情報(コンポーネントレイヤモデル)に基づいて、コンポーネント選択を行う。受信端末200のコンポーネント選択の動作例を説明する。
(1)受信端末200は、コンポーネント選択情報を取得し、その選択肢の中で、まず選択すべきコンポーネントの数を踏まえた上で、コンポーネントの選択を行う。この場合、ユーザに選択させるべき場合には、最上位レイヤのセレクティブレイヤの各コンポーネントの属性情報を基に、選択用GUIを表示してユーザに選択させる。
端末に自動選択させる場合には、最上位レイヤのセレクティブレイヤの各コンポーネントの属性情報と受信端末200が有する個人情報、端末能力情報に基づいて、受信端末200が選択する。基本的にコンポーネントカテゴリ毎に上記の処理を行うが、アセットグループが設定されている場合にはカテゴリを横断して選択を行う。
(2)受信端末200は、セレクティブレイヤで選択したコンポーネントに複数の要素がある場合には、指定されたコンポーネント合成(Composition)を行うべき、アダプティブレイヤで適応切り替えされた複数のコンポーネントを用いて合成提示を行う。
(3)受信端末200は、セレクティブレイヤで選択したコンポーネントに要素が1つだけの場合には、アダプティブレイヤで適応切り替えされたコンポーネントにより提示を行う。
(4)受信端末200は、上記(2)、(3)でアダプティブレイヤの切り替え対象コンポーネントが1つだけの場合には、切り替えを行わずにそのコンポーネントを提示する。
「コンポーネント選択情報」
この実地の形態において、コンポーネント選択情報は、PAメッセージに含まれるMPT(MPTテーブル)に挿入されている。PMTには、ビデオ、オーディオ、キャプションなどの各アセット(コンポーネント)の情報が存在し、コンポーネント選択情報として利用される。各アセットの情報には、種々の記述子も含まれる。
例えば、コンポーネント選択情報として利用される記述子として、ビュー記述子、合成コンポーネントタイプ記述子、アセットグループ記述子、依存関係記述子、映像コンポーネント記述子、音声コンポーネント記述子、対象デバイス記述子、対象地域記述子、パレンタルレート記述子などがある。これらの記述子の詳細は後述する。
受信端末200は、図19示すように、MPTに存在する各アセット(コンポーネント)の情報に基づいて、セレクティブレイヤ、コンポジットレイヤおよびアダプティブレイヤにおけるコンポーネント選択を行う。ただし、受信端末200は、アダプティブレイヤにおいて、アダプティブ切り替えの対象となっているコンポーネントに関しては、その切り替え選択をMPDファイルの情報に基づいて行う。
そのため、アダプティブ切り替えの対象となっているコンポーネントの取得先として、MPTには、MPDファイルの特定のアダプテーションセット、あるいは特定のリプレゼンテーションの情報位置が指定される。この場合、図19に示すように、MPTのアセットとして、MPDファイルのアダプテーションセット、あるいはリプレゼンテーションが位置づけられることとなる。
この実施の形態において、「location_type」として、「MPEG-DASH segment」を示す値、例えば「0x0D」を新規定義する。MPDファイルの特定のリプレゼンテーションの情報位置を取得先とする場合(方法1)、ロケーション情報として、図20(a)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)と、リプレゼンテーションID(representation_ID)を挿入する。
また、MPDファイルの特定のアダプテーションセットの情報位置を取得先とする場合(方法2)、ロケーション情報として、図20(b)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)を挿入する。なお、この場合であっても、ロケーション情報として、図20(a)に示すように、ピリオドID(period_id)と、アダプテーションセットID(adaptationSet_ID)と、リプレゼンテーションID(representation_ID)を挿入することも考えられる。その場合には、リプレゼンテーションIDはオール0あるいはオール1とされ、アダプテーションセットIDでしか指定していないということがわかるようにされる。
図21は、図1の放送・通信ハイブリッドシステム10で想定される信号構成の一例を示している。放送(Broadcast)では、MMTパケットを用いて、ビデオ1(Video1)、オーディオ1(Audio1)が伝送される共に、シグナリング(Signaling)が伝送される。このシグナリングとして、MPTを含むPAメッセージが存在と共に、MPDファイルあるいはMPDファイルの取得先情報としてのURLを含むMPIメッセージが存在する。
また、通信では、DSAHセグメントサーバ400から、ビデオ21(Video21)、ビデオ22(Video22)、オーディオ2(Audio2)の配信が可能とされている。ビデオ21(Video21)、ビデオ22(Video22)は、アダプティブ切り替えの対象となっている。これらの取得先として、MPTの対応するアセットで、MPDファイルの特定のアダプテーションセット、あるいは特定のリプレゼンテーションの情報位置が指定される。これらの実際の取得先情報は、MPDファイルに含まれている。
また、通信では、配信サーバ300から、ビデオ3(Video3)、オーディオ3(Audio3)の配信が可能とされている。配信プロトコルは、例えば、上述した(A)〜(E)のいずれかとされる。これらの取得先情報は、MPTの対応するアセットの情報に含まれている。
図22は、図21の信号構成例に対応したMPTとMPDファイルの構成例を概略的に示している。この例は、アダプティブ切り替えの対象となっているビデオ21(Video21)、ビデオ22(Video22)の取得先として、MPTの対応するアセットでMPDファイルの特定のリプレゼンテーションの情報位置が指定される例である(方法1)。
MPDファイルには、アダプテーションセット1(AS1)と、アダプテーションセット2(AS2)の情報が含まれる。また、アダプテーションセット1(AS1)の情報には、アダプテーションセットID(ASID)と、ビデオ21(Video21)に係るリプレゼンテーション11(Rep11)と、ビデオ22(Video22)に係るリプレゼンテーション12(Rep12)の情報が含まれる。
また、リプレゼンテーション1(Rep11)の情報には、リプレゼンテーションID(RepID=r11)と、取得先情報(seg_url=URL1)が含まれる。また、リプレゼンテーション2(Rep12)の情報には、リプレゼンテーションID(RepID=r12)と、取得先情報(seg_url=URL2)が含まれる。
また、アダプテーションセット2(AS2)の情報には、アダプテーションセットID(ASID)と、オーディオ2(Audio2)に係るリプレゼンテーション21(Rep21)の情報が含まれる。また、リプレゼンテーション21(Rep21)の情報には、リプレゼンテーションID(RepID=r21)と、取得先情報(seg_url=URL3)が含まれる。
MPTには、ビデオ1(Video1)に係るアセット1(Asset1)、オーディオ1(Audio1)に係るアセット2(Asset2)、ビデオ21(Video21)に係るアセット3(Asset3)、ビデオ22(Video22)に係るアセット4(Asset4)、オーディオ2(Audio2)に係るアセット5(Asset5)、ビデオ3(Video3)に係るアセット6(Asset6)、オーディオ3(Audio3)に係るアセット7(Asset7)の情報が含まれる。
アセット1(Asset1)の情報には、アセットID(AssetID=A1)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A1)が含まれる。アセット2(Asset2)の情報には、アセットID(AssetID=A2)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A2)が含まれる。
アセット3(Asset3)の情報には、アセットID(AssetID=A3)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)と、リプレゼンテーションID(RepID=r11)が含まれる。アセット4(Asset4)の情報には、アセットID(AssetID=A4)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)と、リプレゼンテーションID(RepID=r12)が含まれる。
アセット5(Asset5)の情報には、アセットID(AssetID=A5)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a2)と、リプレゼンテーションID(RepID=r21)が含まれる。アセット6(Asset6)の情報には、アセットID(AssetID=A6)と、ロケーション情報(GenLoc)として、URL(URL4)が含まれる。アセット7(Asset7)の情報には、アセットID(AssetID=A7)と、ロケーション情報(GenLoc)として、URL(URL5)が含まれる。
図23は、図21の信号構成例に対応したMPTとMPDファイルの構成例を概略的に示している。この例は、アダプティブ切り替えの対象となっているビデオ21(Video21)、ビデオ22(Video22)の取得先として、MPTの対応するアセットでMPDファイルの特定のアダプテーションセットの情報位置が指定される例である(方法2)。
MPDファイルには、図22と同様の情報が含まれる。MPTには、ビデオ1(Video1)に係るアセット1(Asset1)、オーディオ1(Audio1)に係るアセット2(Asset2)、ビデオ22(Video21,Video22)に係るアセット3(Asset3)、オーディオ2(Audio2)に係るアセット4(Asset4)、ビデオ3(Video3)に係るアセット5(Asset5)、オーディオ3(Audio3)に係るアセット6(Asset6)の情報が含まれる。
アセット1(Asset1)の情報には、アセットID(AssetID=A1)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A1)が含まれる。アセット2(Asset2)の情報には、アセットID(AssetID=A2)と、ロケーション情報(GenLoc)として、パケット識別子(PacketID_A2)が含まれる。
アセット3(Asset3)の情報には、アセットID(AssetID=A3)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a1)が含まれる。アセット4(Asset4)の情報には、アセットID(AssetID=A4)と、ロケーション情報(GenLoc)として、アダプテーションセットID(ASID=a2)が含まれる。アセット5(Asset5)の情報には、アセットID(AssetID=A5)と、ロケーション情報(GenLoc)として、URL(URL4)が含まれる。アセット6(Asset6)の情報には、アセットID(AssetID=A6)と、ロケーション情報(GenLoc)として、URL(URL5)が含まれる。
上述したように、コンポーネント選択情報として利用される記述子として、ビュー記述子、合成コンポーネントタイプ記述子、アセットグループ記述子、依存関係記述子、映像コンポーネント記述子、音声コンポーネント記述子、対象デバイス記述子、対象地域記述子、パレンタルレート記述子などがある。
ビュー記述子は、映像のビューに関するメタ情報が記述される記述子である。合成コンポーネントタイプ記述子は、合成のタイプを示す情報が記述される記述子である。アセットグループ記述子は、アセットのグループの関係とグループ内での優先度を示す情報が記述される記述子である。依存関係記述子は、依存関係にあるアセットのアセットIDを提供する記述子である。
映像コンポーネント記述子は、映像コンポーネントに関するパラメータ、説明を示す記述子である。音声コンポーネント記述子は、音声エレメンタリストリームの各パラメータを示す記述子である。対象デバイス記述子は、当該コンポーネントを再生する対象のデバイス情報が記述される記述子である。対象地域記述子は、当該コンポーネントを再生する対象の地域を示す情報が記述される記述子である。パレンタルレート記述子は、当該コンポーネントのレーティング情報が記述される記述子である。
図24は、ビュー記述子の構造例(Syntax)を示している。このビュー記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、ビュー記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「view_tag」の8ビットフィールドは、映像内容の識別情報であるビュータグを示す。同じ映像内容だがレートが違う、コーデックが違うなどということもある。ビュータグが同じであれば、同じ映像内容であることが示される。「view_name_byte」のフィールドには、映像内容の名称であるビュー名の文字列データが配される。
図25は、合成コンポーネントタイプ記述子の構造例(Syntax)を示している。この合成コンポーネントタイプ記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、合成コンポーネントタイプ記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。「composite_component_type」の8ビットフィールドは、合成コンポーネントタイプを示す。例えば、スケーラブル、3D、タイル、レイヤ、ミキシングなどのタイプを示す。
図26は、アセットグループ記述子の構造例(Syntax)を示している。このアセットグループ記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、アセットグループ記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「group_identification」の8ビットフィールドは、グループIDを示す。例えば、ビデオやオーディオなどのアセットをグループ化したIDを示す。「selection_level」の8ビットフィールドは、選択レベルを示す。選択レベル値が“0”のアセットをデフォルトで選択する。デフォルトのアセットを選択てきない場合、グループ内で数字が小さいアセットから順に優先して選択していく候補であることを示す。
図27は、依存関係記述子の構造例(Syntax)を示している。この依存関係記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、依存関係記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「num_dependencies」の8ビットフィールドは、依存アセット数を示す。この記述子が挿入されるアセットと相補的な関係にあるアセットの数を示す。このフィールド以降がforループとなっており、各相補的なアセットの情報になっている。「asset_id_scheme」の32ビットフィールドは、相補的なアセットのアセットIDの形式を示す。「asset_id_length」の8ビットフィールドは、相補的なアセットのアセットIDバイトの長さをバイト単位で示す。「asset_id_byte」のフィールドは、相補的なアセットのアセットIDを示す。
図28は、映像コンポーネント記述子の構造例(Syntax)を示している。この映像コンポーネント記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、映像コンポーネント記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「video_resolution」の4ビットフィールドは、垂直方向の解像度を示す。例えば、“1”は「180」を示し、“2”は「240」を示し、“3”は「480」を示し、“4”は「720」を示し、“5”は「1080」を示し、“6”は「2160」を示し、“7”は「4320」を示す。「video_aspect_ratio」の4ビットフィールドは、アスペクト比を示す。例えば、“1”は「4:3」を示し、“2”は「PV(パンベクター)有りの16:9」を示し、“3”は「PV(パンベクター)無しの16:9」を示し、“4”は「16:9以上」を示す。
「video_scan_flag」の1ビットフィールドは、スキャンフラグを示す。例えば、“0”はインターレースを示し、“1”はプログレッシブを示す。「video_frame_rate」の5ビットフィールドは、フレームレートを示す。例えば、 “4”は「25フレーム」を示し、“5”は「30/1.001フレーム」を示し、“6”は「30フレーム」を示し、“7”は「50フレーム」を示し、“8”は「60/1.001フレーム」を示し、“9”は「60フレーム」を示す。
「component_tag」の16ビットフィールドは、コンポーネントタグを示す。コンポーネントタグは、コンポーネントストリームを識別するためのラベルである。「ISO_639_language_code」の24ビットフィールドは、言語コードを示す。「text_char」のフィールドは、コンポーネントストリームの文字記述を規定する。
図29は、音声コンポーネント記述子の構造例(Syntax)を示している。この音声コンポーネント記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、音声コンポーネント記述子であることを示す。「descriptor_length」の16ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「stream_content」の4ビットフィールドは、ストリームの種別を示す。「component_type」の8ビットフィールドは、音声コンポーネントの種別を規定する。「component_tag」の16ビットフィールドは、コンポーネントストリームを識別するためのラベルである。「stream_type」の8ビットフィールドは、音声ストリームの形式をISO/IEC 13818−1に規定される“stream_type”で示す。
「simulcast_group_tag」の8ビットフィールドは、サイマルキャストグループ識別である。サイマルキャスト(同一内容を異なる符号化方式で伝送)を行っているコンポーネントに対して同じ番号を与える。サイマルキャストを行っていないコンポーネントに対いて“0xFF”を与える。「ES_multi_lingual_flag」の1ビットフィールドは、ES多言語フラグを示す。例えば、“1”はデュアルモノ(dual mono)で2言語多重されている場合を示す。「main_component_flag」の1ビットフィールドは、当該音声コンポーネントが主音声であるかを示し、主音声であるときは“1”を与える。
「quality_indicator」の2ビットフィールドは、音質モードを示す。例えば、“1”は「モード1」を示し、“2”は「モード2」を示し、“3”は「モード3」を示す。「sampling_rate」の3ビットフィールドは、サンプリング周波数を示す。例えば、“1”は「16kHz」を示し、“2”は「22.05kHz」を示し、“3”は「24kHz」を示し、“5”は「32kHz」を示し、“6”は「44.1kHz」を示し、“7”は「48kHz」を示す。
「ISO_639_language_code」の24ビットフィールドは、言語コードを示す。そして、「ES_multi-lingual_flag」が“1”であるとき、「ISO_639_language_code_2」の24ビットフィールドが存在し、言語コード2を示す。「text_char」のフィールドは、コンポーネントストリームの文字記述を規定する。
図30は、対象デバイス記述子の構造例(Syntax)を示している。この対象デバイス記述子は、この実施の形態において、新規定義する記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、対象デバイス記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「number_of_taget_device」の8ビットフィールドは、対象デバイス数を示す。対象デバイス毎に、「target_device_type」の8ビットフィールドが存在し、対象デバイスタイプを示す。例えば、大きなスクリーンのテレビを想定したものか、もう少し小さなスクリーンのタブレットを想定したものか、さらにはもっと小さなスクリーンのスマートフォンを想定したものか、などのタイプを示す。
図31は、対象地域記述子の構造例(Syntax)を示している。この対象地域記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、対象地域記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
「region_spec_type」の8ビットフィールドは、地域記述方式指定を示す。例えば、“1”は県域指定であることを示す。そして、「target_region_spec()」のフィールドに、指定された記述方式による地域指定子(地域指定データ)が記述される。
図32は、パレンタルレート記述子の構造例(Syntax)を示している。このパレンタルレート記述子は、既存の記述子である。「descriptor_tag」の16ビットフィールドは、記述子タグを示す。ここでは、パレンタルレート記述子であることを示す。「descriptor_length」の8ビットフィールドは、記述子長を示し、このフィールド以降のバイト数を示す。
国毎に、レーティングの指定が可能となっている。「country_code」の24ビットフィールドは、国コードを示す。「rating」の8ビットフィールドは、レーティングを示す。この「レーティング+3歳」が最小年齢を示す。
[放送送出システムの構成]
図33は、放送送出システム100の構成例を示している。この放送送出システム100は、時計部111と、信号送出部112と、ビデオエンコーダ113と、オーディオエンコーダ114と、キャプションエンコーダ115と、シグナリング発生部116を有している。また、この放送送出システム100は、TLVシグナリング発生部118と、N個のIPサービス・マルチプレクサ119-1〜119-Nと、TLV・マルチプレクサ120と、変調/送信部121を有している。
時計部111は、図示しないNTP(Network Time Protocol)サーバから取得された時刻情報に同期した時刻情報(NTP時刻情報)を生成し、この時刻情報を含むIPパケットをIPサービス・マルチプレクサ119-1に送る。信号送出部112は、例えば、TV局のスタジオとか、VTR等の記録再生機であり、タイムドメディアであるビデオ、オーディオ、字幕等のストリームデータ、ノンタイムドメディアであるHTML文書データ等のファイル(ファイルデータ)を各エンコーダに送出する。
ビデオエンコーダ113は、信号送出部112から送出されるビデオ信号を符号化し、さらにパケット化して、ビデオのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。オーディオエンコーダ114は、信号送出部112から送出されるオーディオ信号を符号化し、さらにパケット化して、オーディオのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。
キャプションエンコーダ115は、信号送出部112から送出されるキャプション信号(字幕信号)を符号化し、さらにパケット化して、キャプションのMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。
シグナリング発生部116は、シグナリングメッセージを発生し、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットをIPサービス・マルチプレクサ119-1に送る。この際、シグナリング発生部116は、少なくとも、MPテーブル(MPT)を含むPAメッセージと、MPDファイルを含むMPIメッセージを発生する。
IPサービス・マルチプレクサ119-1は、各エンコーダ等から送られてくるIPパケットの時分割多重化を行う。この際、IPサービス・マルチプレクサ119-1は、各IPパケットにTLVヘッダを付加して、TLVパケットとする。
IPサービス・マルチプレクサ119-1は、一つのトランスポンダの中にいれる一つのチャネル部分を構成する。IPサービス・マルチプレクサ119-2〜119-Nは、IPサービス・マルチプレクサ119-1と同様の機能を持ち、その1つのトランスポンダの中にいれる他のチャネル部分を構成する。
TLVシグナリング発生部118は、シグナリング(Signaling)情報を発生し、このシグナリング(Signaling)情報をペイロード部に配置するTLVパケットを生成する。TLV・マルチプレクサ120は、IPサービス・マルチプレクサ119-1〜119-NおよびTLVシグナリング発生部118で生成されるTLVパケットを多重化して、放送ストリームを生成する。変調/送信部121は、TLV・マルチプレクサ120で生成される放送ストリームに対して、RF変調処理を行って、RF伝送路に送出する。
図33に示す放送送出システム110の動作を簡単に説明する。時計部111では、NTPサーバから取得された時刻情報に同期した時刻情報が生成され、この時刻情報を含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。
信号送出部112から送出されるビデオ信号は、ビデオエンコーダ113に供給される。このビデオエンコーダ113では、ビデオ信号が符号化され、さらにパケット化されて、ビデオのMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。また、信号送出部112から送出されるオーディオ信号に対しても同様の処理が行われる。そして、オーディオエンコーダ114で生成されるオーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られる。
また、信号送出部112から送出されるオーディオ信号、キャプション信号に対しても同様の処理が行われる。そして、オーディオエンコーダ114で生成されるオーディオのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られ、キャプションエンコーダ115で生成されるキャプションのMMTパケットを含むIPパケットがIPサービス・マルチプレクサ119-1に送られる。
また、シグナリング発生部116では、シグナリングメッセージが発生され、ペイロード部にこのシグナリングメッセージが配置されたMMTパケットを含むIPパケットが生成される。このIPパケットは、IPサービス・マルチプレクサ119-1に送られる。この際、シグナリング発生部116では、少なくとも、MPテーブル(MPT)を含むPAメッセージと、MPDファイルを含むMPIメッセージが発生される。
IPサービス・マルチプレクサ119-1では、各エンコーダおよびシグナリング発生部116から送られてくるIPパケットの時分割多重化が行われる。この際、各IPパケットにTLVヘッダが付加されて、TLVパケットとされる。このIPサービス・マルチプレクサ119-1では、一つのトランスポンダの中にいれる1つのチャネル部分の処理が行われ、IPサービス・マルチプレクサ119-2〜119-Nでは、その一つのトランスポンダの中にいれる他のチャネル部分の処理が同様に行われる。
IPサービス・マルチプレクサ119-1〜119-Nで得られるTLVパケットは、TLV・マルチプレクサ120に送られる。このTLV・マルチプレクサ120には、さらに、TLVシグナリング発生部118から、シグナリング(Signaling)情報をペイロード部に配置するTLVパケットも送られる。
TLV・マルチプレクサ120では、IPサービス・マルチプレクサ119-1〜119-NおよびTLVシグナリング発生部118で生成されるTLVパケットが多重化されて、放送ストリームが生成される。この放送ストリームは、変調/送信部121に送られる。変調/送信部121では、この放送ストリームに対してRF変調処理を行われ、そのRF変調信号がRF伝送路に送出される。
[受信端末の構成]
図34は、受信端末200の構成例を示している。この受信端末200は、CPU201と、チューナ/復調部202と、ネットワークインタフェース部203と、デマルチプレクサ204と、システムクロック生成部205を有している。また、この受信端末200は、ビデオデコーダ206と、オーディオデコーダ207と、キャプションデコーダ208と、合成部210を有している。
CPU201は、制御部を構成し、受信端末200の各部の動作を制御する。チューナ/復調部202は、RF変調信号を受信し、復調処理を行って、放送ストリームを得る。ネットワークインタフェース部203は、配信サーバ300やDASHセグメントサーバ400から通信ネットワーク500を介して配信されるサービスの伝送ストリームを受信する。
デマルチプレクサ204は、チューナ/復調部202で得られる放送ストリームおよびネットワークインタフェース部203で得られる伝送ストリームに対して、デマルチプレクス処理およびデパケット化処理を行って、NTP時刻情報、シグナリング情報、ビデオ、オーディオの符号化信号を出力する。
システムクロック生成部205は、デマルチプレクサ204で得られるNTP時刻情報に基づき、この時刻情報に同期したシステムクロックSTCを発生する。ビデオデコーダ206は、デマルチプレクサ204で得られる符号化ビデオ信号の復号化を行ってベースバンドのビデオ信号を得る。
オーディオデコーダ207は、デマルチプレクサ204で得られる符号化オーディオ信号の復号化を行ってベースバンドのオーディオ信号を得る。さらに、キャプションデコーダ208は、デマルチプレクサ204で得られる符号化キャプション信号の復号化を行って、キャプション(字幕)の表示信号を得る。
CPU201は、各デコーダにおけるデコードタイミングをPTS(提示時刻情報)に基づいて制御し、ビデオ、オーディオの提示タイミングを調整する。合成部210は、ビデオデコーダ206で得られるベースバンドのビデオ信号に、キャプションの表示信号を合成し、映像表示用のビデオ信号を得る。なお、オーディオデコーダ207で得られるベースバンドのオーディオ信号は、音声出力用のオーディオ信号となる。
図34に示す受信端末200の動作を簡単に説明する。チューナ/復調部202では、RF伝送路を通じて送られてくるRF変調信号が受信され、復調処理が行われて、放送ストリームが得られる。この放送ストリームは、デマルチプレクサ204に送られる。また、ネットワークインタフェース部203では、配信サーバ300やDASHセグメントサーバ400から通信ネットワーク300を介して配信されるサービスの伝送ストリームが受信され、デマルチプレクサ204に送られる。
デマルチプレクサ204では、チューナ/復調部202からの放送ストリームやネットワークインタフェース部203からの伝送ストリームに対して、デマルチプレクス処理およびデパケット化処理が行われ、NTP時刻情報、シグナリング情報、ビデオ、オーディオの符号化信号などが抽出される。
デマルチプレクサ204で抽出される各種のシグナリング情報はCPUバス211を介してCPU201に送られる。このシグナリング情報には、TLV−SI、MMT−SIが含まれる。上述したように、TLV−SIはTLVの伝送パケットの上に載る伝送制御信号(TLV−NIT/AMT)であり、MMT−SIはMMTパケットのペイロード部に含まれるシグナリング情報としてのシグナリングメッセージである(図2参照)。CPU201は、このシグナリング情報に基づいて、受信端末200の各部の動作を制御する。
デマルチプレクサ204で抽出されるNTP時刻情報は、システムクロック生成部205に送られる。このシステムクロック生成部205では、このNTP時刻情報に基づき、この時刻情報に同期したシステムクロックSTCが生成される。このシステムクロックSTCは、ビデオデコーダ206、オーディオデコーダ207、キャプションデコーダ208に供給される。
デマルチプレクサ204で抽出される符号化ビデオ信号はビデオデコーダ206に送られて復号化され、ベースバンドのビデオ信号が得られる。また、デマルチプレクサ204で抽出される符号化キャプション信号はキャプションデコーダ208に送られて復号化され、キャプションの表示信号が得られる。
ビデオデコーダ206で得られるビデオ信号は合成部210に供給される。また、キャプションデコーダ208で得られるキャプションの表示信号は合成部210に供給される。合成部210では、これらの信号が合成され、映像表示用のビデオ信号が得られる。また、デマルチプレクサ203で抽出される符号化オーディオ信号はオーディオデコーダ207に送られて復号化され、音声出力用のベースバンドのオーディオ信号が得られる。
受信端末200は、MPTのコンポーネント選択情報(各アセットの情報)に基づいて、放送・通信のハイブリッド伝送による受信信号から、提示すべきビデオ、オーディオなどの伝送メディア(コンポーネント)を選択的に取得し、画像、音声などを提示する。
受信端末200におけるコンポーネント選択・取得プロセスの概要を説明する。受信端末200(CPU201)は、MPTの各アセット(コンポーネント)の情報を解析する。受信端末200は、セレクティブレイヤのコンポーネント選択において、必要に応じてユーザ選択のGUIを表示して、ユーザに選択させる。
図35(a)は、コンポーネント選択GUIの一例を示している。このGUIは、ユーザに、ビュー(View)選択、言語(language)選択をさせるためのものである。図35(b)に示すように、GUI上のビューボタン401を操作すると、ビュー選択のためのドロップダウンメニューが表示され、ユーザは、「全ビュー表示」、「メイン」、「サブ1」、「サブ2」のいずれかを選択することが可能となる。
図35(c)に示すように、GUI上の言語ボタン402を操作すると、言語選択のためのドロップダウンメニューが表示され、ユーザは、「日本語」、「英語」、「中国語」、「韓国語」のいずれかを選択することが可能となる。
さらに、受信端末200は、セレクティブレイヤのコンポーネント選択において、能力や設定に従って自動的に一つまたは複数のコンポーネントを選択する。なお、選局時、電源オン時は、受信端末200は、デフォルトのコンポーネントを自動的に選択する。
受信端末200は、セレクティブレイヤで選択されるコンポーネント内にアダプティブレイヤの複数のコンポーネントが存在する場合、コンポーネント選択情報に基づき、合成、適応切り替えの対象となるコンポーネントを割り出す。そして、受信端末200は、MPTのアセット記述の「General location Info()」のフィールドにより、指定された取得先(放送・通信のMMTパケット、通信ネットワーク上のファイル)を認識し、信号データを取得し、再生する。
上述は映像について説明したが、音声、字幕などについても同様のプロセスを実行する。
受信端末200におけるコンポーネント選択・取得プロセスのユースケースを説明する。このユースケースは、図36に示すように、マルチビューの例である。このマルチビューの例は、1つの番組が、メインビュー(Main View)/サブビュー1(Sub View1)/サブビュー2(Sub View2)の3つの“映像+音声”から構成されている。
メインビュー映像は、デフォルトで選局時に表示する映像であり、3840*2160の解像度(4K)か1920*1080の解像度(2K)の映像を受信端末の能力によって自動で選択する想定である。4Kの場合には、2K映像信号(base)と差分信号(extended)を合成するスケーラブル符号化が行われている。2K映像信号(base)は放送で伝送され、差分信号(extended)はネット配信される。
メイン映像に付随する音声は、22.2chかステレオを受信端末の能力と接続環境により自動で選択する想定である。22.2chの場合にはステレオ信号(base)と差分信号(extended)を合成するスケーラブル符号化が行われている。ステレオ信号は、放送(base)で伝送され、差分信号(extended)はネット配信される。
サブビュー1は、映像信号も音声信号もそれぞれ1系統でネット配信される。このサブビュー1において、映像信号は2K映像信号であり、音声信号はステレオ信号である。サブビュー2は、映像信号に関してはいくつかのレート・解像度の信号を適応的に切り替えるネット配信であり、音声信号は1系統のネット配信である。このサブビュー2において、映像信号は2K映像信号であり、音声信号はステレオ信号である。
図37は、図36のマルチビューの例に対応したコンポーネントレイヤモデルを示している。コンポーネントカテゴリとしては、映像(Video)と音声(Audio)がある。映像のセレクティブレイヤでは、メインビューとして4K映像信号または2K映像信号の選択が可能であることが示され、さらに、サブ1ビュー、サブビュー2の選択が可能であることが示されている。
また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(4K映像信号)が、スケーラブル符号化されたものであり、放送伝送されるベース信号(2K映像信号)と、通信伝送されるエクステンド信号(差分信号)との合成信号であることが示されている。
また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(2K映像信号)が、放送伝送されるベース信号(2K映像信号)であることが示されている。また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー1が、通信伝送される映像信号であることが示されている。また、映像のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー2が、通信伝送される複数の映像信号が適応的に切り替えられて得られる映像信号であることが示されている。
また、音声のセレクティブレイヤでは、メインビューとして22.2ch信号またはステレオ信号の選択が可能であることが示され、さらに、サブ1ビュー、サブビュー2の選択が可能であることが示されている。
また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(22.2ch信号)が、スケーラブル符号化されたものであり、放送伝送されるステレオ信号と、通信伝送される差分信号との合成信号であることが示されている。
また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるメインビュー(ステレオ信号)が、放送伝送されるステレオ信号であることが示されている。また、音声のコンポジットレイヤおよびアダプティブレイヤでは、セレクティブレイヤでの選択肢であるサブビュー1、サブビュー2が、それぞれ、通信伝送されるステレオ信号であることが示されている。
また、映像、音声のセレクティブレイヤでは、各ビューがアセットグループで組み合わせられており、カテゴリ横断で選択すべきことが示されている。すなわち、映像のメインビュー、サブビュー1、サブビュー2の選択に伴って、音声のメインビュー、サブビュー1、サブビュー2も選択すべきことが示されている。
図38は、図36のマルチビューの例に対応したMPTとMPDファイルの記載例を概略的に示している。MPDファイルには、ピリオドID「period_id」が“pd1”で示されるピリオドの情報に、アダプテーションセットID「As_id」が“as1”で示される第1のアダプテーションセットの情報と、アダプテーションセットID「As_id」が“as2”で示される第2のアダプテーションセットの情報が存在する。
第1のアダプテーションセットは、いくつかのレート・解像度の信号が適応的に切り替えられるネット配信のサブビュー3の映像信号に対応する。この第1のアダプテーションセットの情報には、各レート・解像度の信号に対応する複数(N個)のリプレゼンテーションの情報が存在する。第2のアダプテーションセットは、ネット配信のサブビュー3の音声信号に対応する。この第2のアダプテーションセットの情報には、その音声信号に対応する1つのリプレゼンテーションの情報が存在する。
MPTには、ビデオ、オーディオの2つのコンポーネントカテゴリの選択情報が含まれている。ビデオに関して、ビデオ11(Video11)、ビデオ12(Video12)、ビデオ2(Video2)、ビデオ3(Video3)の各アセット(コンポーネント)の情報が存在している。各アセットの情報には、コンポーネント選択情報として、記述子を含む種々の情報が存在する。
ビデオ11(Video11)のアセットは、放送で伝送されメインビューの2K映像信号(base)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“0”とされ、ロケーション情報「GenLoc」として、パケット識別子「pid」が挿入されている。また、このアセットの情報として、ビュー記述子「View_desc」、合成コンポーネントタイプ記述子「Compsite_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
ビデオ12(Video12)のアセットは、ネット配信されるメインビューの差分信号(extended)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“1”とされ、ロケーション情報「GenLoc」として、IPアドレス「IPadd」と、ポート番号「pn」と、パケット識別子「pid」が挿入されている。このアセットは、マルチキャスト配信される。また、このアセットの情報として、依存関係記述子「Dependency_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
ビデオ2(Video2)のアセットは、ネット配信されるサブビュー1の2K映像信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“5”とされ、ロケーション情報「GenLoc」として、URL「url」が挿入されている。このアセットは、MPU/HTTP配信される。また、このアセットの情報として、ビュー記述子「View_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
ビデオ3(Video3)のアセットは、ネット配信されるいくつかのレート・解像度の信号が適応的に切り替えられるサブビュー2の2K映像信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“D”とされ、ロケーション情報「GenLoc」として、MPDファイルの特定のアダプテーションセットの情報位置が、ピリオドID「pid」とアダプテーションセットID「asid」で指定される。
ここでは、ピリオドID「pid」は“pd1”とされ、アダプテーションセットID「asid」は“as1”とされ、いくつかのレート・解像度の信号が適応的に切り替えられるネット配信のサブビュー3の映像信号に対応したアダプテーションセットの情報位置が指定される。これにより、サブビュー3の映像信号のアダプティブな切り替えは、MPDファイルに基づいて行われることとなる。また、このアセットの情報として、ビュー記述子「View_desc」、アセットグループ記述子「Asset_Gp_desc」、映像コンポーネント記述子「V_comp_desc」などが挿入されている。
また、オーディオに関して、オーディオ11(Audio11)、オーディオ12(Audio12)、オーディオ2(Audio2)、オーディオ3(Audio3)の各アセット(コンポーネント)の情報が存在している。各アセットの情報には、コンポーネント選択情報として、記述子を含む種々の情報が存在する。
オーディオ11(Audio11)のアセットは、放送で伝送されメインビューのステレオ信号(base)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“0”とされ、ロケーション情報「GenLoc」として、パケット識別子「pid」が挿入されている。また、このアセットの情報として、合成コンポーネントタイプ記述子「Compsite_desc」、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
オーディオ12(Audio12)のアセットは、ネット配信されるメインビューの差分信号(extended)に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“1”とされ、ロケーション情報「GenLoc」として、IPアドレス「IPadd」と、ポート番号「pn」と、パケット識別子「pid」が挿入されている。このアセットは、マルチキャスト配信される。また、このアセットの情報として、依存関係記述子「Dependency_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
オーディオ2(Audio2)のアセットは、ネット配信されるサブビュー1のステレオ信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“5”とされ、ロケーション情報「GenLoc」として、URL「url」が挿入されている。このアセットは、MPU/HTTP配信される。また、このアセットの情報として、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
オーディオ3(Audio3)のアセットは、サブビュー2のステレオ信号に対応している。このアセットの情報として、ロケーションタイプ「Loc_type」が“D”とされ、ロケーション情報「GenLoc」として、MPDファイルの特定のアダプテーションセットの情報位置が、ピリオドID「pid」とアダプテーションセットID「asid」で指定される。
ここでは、ピリオドID「pid」は“pd1”とされ、アダプテーションセットID「asid」は“as2”とされ、サブビュー2の音声信号に対応したアダプテーションセットの情報位置が指定される。また、このアセットの情報として、アセットグループ記述子「Asset_Gp_desc」、音声コンポーネント記述子「A_comp_desc」などが挿入されている。
上述のMPTとMPDファイルの記載例に基づくコンポーネントの選択、再生は、例えば、以下のように行われる。最初に、ビューの選択が行われる。この選択は、ビデオ11、ビデオ2、ビデオ3の各アセットの情報に挿入されているビュー記述子「View_desc」に基づいて行われる。例えば、デフォルトでメインビューが選択され、ビデオ11が選ばれたとする。そのときに、ビデオ11のアセット情報には、合成コンポーネントタイプ記述子「Compsite_desc」があるので、何かと組み合わせて合成されるものであることがわかる。
また、ビデオ12のアセット情報には、依存関係記述子「Dependency_desc」が存在する。この記述子により、ビデオ12は、単独では機能せず、他のアセット、つまりビデオ11に依存して使用されるものであることがわかる。これにより、合成コンポーネントタイプ記述子「Compsite_desc」と依存関係記述子「Dependency_desc」の組み合わせで、ビデオ11とビデオ12はスケーラブルビデオの関係にあることがわかる。
さらに、ビデオ11、ビデオ12のアセット情報には、映像コンポーネント記述子「V_comp_desc」が存在し、例えば、ビデオ11に関しては“2K”、ビデオ12に関しては“4K”との解像度記述がなされている。受信端末200が4K対応であればビデオ11およびビデオ12の双方が選択合成され、4Kでの映像再生が行われる。一方、受信端末200が2K対応であればビデオ11のみが選択され、2Kでの映像再生が行われる。
また、ビデオ11のアセット情報には、アセットグループ記述子「Asset_Gp_desc」が存在する。この記述子により、ビデオ11とオーディオ11が組み合わされていることがわかる。ビデオ11が選ばれることで、オーディオ11も選ばれる。このオーディオ11が選ばれることで、オーディオ11のアセット情報に存在する合成コンポーネントタイプ記述子「Compsite_desc」と、オーディオ12のアセット情報に存在する依存関係記述子「Dependency_desc」の組み合わせで、オーディオ11とオーディ12はスケーラブルオーディオの関係にあることがわかる。
さらに、オーディオ11、オーディオ12のアセット情報には、音声コンポーネント記述子「A_comp_desc」が存在し、例えば、オーディオ11に関しては“ステレオ”、オーディオ12に関しては“22.2チャネル”とのモード記述がなされている。受信端末200が22.2チャネル対応であればオーディオ11およびオーディオ12の双方が選択合成され、22.2チャネルでの音声再生が行われる。一方、受信端末200がステレオ対応であればオーディオ11のみが選択され、ステレオでの音声再生が行われる。
次に、ビュー選択で、サブビュー2が選択され、ビデオ3が選ばれたとする。このビデオ3のアセット情報では、ロケーション情報として、アダプテーションセットID「asid」が“as1”であるMPDファイルのアダプテーションセットの情報位置が指定されている。この場合、DASHセグメントサーバ400から映像信号の取得が行われるが、MPDファイルに基づいて映像信号のアダプティブな切り替えが時々刻々に行われ、2Kでの映像再生が行われる。
また、ビデオ3のアセット情報には、アセットグループ記述子「Asset_Gp_desc」が存在する。この記述子により、ビデオ3とオーディオ3が組み合わされていることがわかる。ビデオ3が選ばれることで、オーディオ3も選ばれる。このオーディオ3のアセット情報では、ロケーション情報として、アダプテーションセットID「asid」が“as2”であるMPDファイルのアダプテーションセットの情報位置が指定されている。この場合、MPDファイルに基づいて、DASHセグメントサーバ400から音声信号が取得され、ステレオでの音声再生が行われる。
次に、受信端末200のビュー表示変更の一例について説明する。図39(a)は、選局操作により番組再生が開始されたときの状態を示している。この状態では、デフォルトのメインビューが表示されると共に、マルチビュー対応番組なので、ユーザ選択のためのGUI表示も現れる。
図39(b)は、ユーザが「マルチビュー」の表示を選択したときの状態を示している。この状態では、メインビュー、サブビュー1、サブビュー2のマルチビュー表示となる。図39(c)は、ユーザが「サブビュー1」の表示を選択したときの状態を示している。この状態では、サブビュー1の映像の全画面表示となる。
上述したように、図1に示す放送・通信ハイブリッドシステム10においては、MPテーブル(MPT)に、3レイヤのコンポーネント選択情報が挿入されている。そして、アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、MPDファイルの特定のアダプテーションセットあるいはリプレゼンテーションの情報位置を指定するものとされる。そのため、例えば放送・通信のハイブリッドシステムにおいて、受信側におけるコンポーネント選択、特にアダプティブレイヤでのコンポーネント選択の容易性を確保することが可能となる。
<2.変形例>
なお、上述実施の形態においては、受信端末200がMPDファイルを放送から取得し得る例を示した。しかし、本技術は、これに限定されるものではなく、受信端末200は、MPDファイルを他の方法で取得してもよい。例えば、放送送出システム100に関連したネットワークサーバから通信により取得することも考えられる。
また、本技術は、以下のような構成を取ることもできる。
(1)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
送信装置。
(2)上記伝送パケットは、MMTパケットであり、
上記コンポーネント選択情報は、MPTに含まれている
前記(1)に記載の送信装置。
(3)上記アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、
上記メタファイルは、MPDファイルであり、
上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる
前記(2)に記載の送信装置。
(4)上記所定の伝送路は、放送伝送路である
前記(1)から(3)のいずれかに記載の送信装置。
(5)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
送信部により、上記伝送ストリームを所定の伝送路を通じて送信する送信ステップと、
上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入ステップを有し、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成され、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
送信方法。
(6)所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
受信装置。
(7)上記メタファイルを取得するメタファイル取得部をさらに備える
前記(6)に記載の受信装置。
(8)上記コンポーネント選択部は、
上記コンポーネント選択情報に上記ユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する
前記(6)または(7)に記載の受信装置。
(9)上記伝送パケットは、MMTパケットであり、
上記各コンポーネントの選択情報は、MPTに含まれている
前記(6)から(7)のいずれかに記載の受信装置。
(10)上記アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、
上記メタファイルは、MPDファイルであり、
上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている
前記(9)に記載の受信装置。
(11)上記所定の伝送路は、放送伝送路である
前記(6)から(10)のいずれかに記載の受信装置。
(12)受信部により、所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが時分割的に多重化された伝送ストリームを、所定の伝送路を通じて受信する受信ステップを有し、
上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
上記コンポーネント選択情報は、上位から、固定的な選択を行うセレクティブレイヤ情報、合成を行うコンポジットレイヤ情報および動的な切り替えを行うアダプティブレイヤ情報により構成されており、
上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択ステップをさらに有する
受信方法。
10・・・放送・通信ハイブリッドシステム
100・・・放送送出システム
111・・・時計部
112・・・信号送出部
113・・・ビデオエンコーダ
114・・・オーディオエンコーダ
115・・・キャプションエンコーダ
116・・・シグナリング発生部
118・・・TLVシグナリング発生部
119-1〜119-N・・・IPサービス・マルチプレクサ
120・・・TLV・マルチプレクサ
121・・・変調/送信部
120・・・配信サーバ
200・・・受信端末
201・・・CPU
202・・・チューナ/復調部
202・・・デマルチプレクサ
203・・・ネットワークインタフェース部
204・・・デマルチプレクサ
205・・・システムクロック生成部
206・・・ビデオデコーダ
207・・・オーディオデコーダ
208・・・キャプションデコーダ
210・・・合成部
211・・・CPUバス
300・・・配信サーバ
400・・・DASHセグメントサーバ
500・・・通信ネットワーク

Claims (12)

  1. 所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが多重化された伝送ストリームを生成する伝送ストリーム生成部と、
    上記伝送ストリームを所定の伝送路を通じて送信する送信部と、
    上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入部を備え、
    上記コンポーネント選択情報は、上位から、最終的な選択を行うセレクティブレイヤ、合成を行うコンポジットレイヤおよび動的な切り替えを行うアダプティブレイヤにより構成されるコンポーネントレイヤ構造におけるコンポーネントの選択情報を含み、
    上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
    上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
    送信装置。
  2. 上記伝送パケットは、MMTパケットであり、
    上記コンポーネント選択情報は、MPTに含まれている
    請求項1に記載の送信装置。
  3. 上記アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、
    上記メタファイルは、MPDファイルであり、
    上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされる
    請求項2に記載の送信装置。
  4. 上記所定の伝送路は、放送伝送路である
    請求項1に記載の送信装置。
  5. 所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
    送信部により、上記伝送ストリームを所定の伝送路を通じて送信する送信ステップと、
    上記第2の伝送パケットに、コンポーネント選択情報を挿入する情報挿入ステップを有し、
    上記コンポーネント選択情報は、上位から、最終的な選択を行うセレクティブレイヤ、合成を行うコンポジットレイヤおよび動的な切り替えを行うアダプティブレイヤにより構成されるコンポーネントレイヤ構造におけるコンポーネントの選択情報を含み、
    上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
    上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされる
    送信方法。
  6. 所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが多重化された伝送ストリームを、所定の伝送路を通じて受信する受信部を備え、
    上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
    上記コンポーネント選択情報は、上位から、最終的な選択を行うセレクティブレイヤ、合成を行うコンポジットレイヤおよび動的な切り替えを行うアダプティブレイヤにより構成されるコンポーネントレイヤ構造におけるコンポーネントの選択情報を含み、
    上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
    上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
    上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択部をさらに備える
    受信装置。
  7. 上記メタファイルを取得するメタファイル取得部をさらに備える
    請求項6に記載の受信装置。
  8. 上記コンポーネント選択部は、
    上記コンポーネント選択情報にユーザに選択させるべき特定の属性に関するバリエーションが存在する場合、画面上に選択のグラフィクスユーザインタフェースを表示する
    請求項6に記載の受信装置。
  9. 上記伝送パケットは、MMTパケットであり、
    上記各コンポーネントの選択情報は、MPTに含まれている
    請求項6に記載の受信装置。
  10. 上記アダプティブストリーミングのためのデータストリームは、MPEG−DASHベースのデータストリームであり、
    上記メタファイルは、MPDファイルであり、
    上記メタファイルの特定の情報位置を指定する情報は、特定のアダプテーションセットあるいは特定のリプレゼンテーションを指定する情報とされている
    請求項9に記載の受信装置。
  11. 上記所定の伝送路は、放送伝送路である
    請求項6に記載の受信装置。
  12. 受信部により、所定のコンポーネントを含む第1の伝送パケットと、上記所定のコンポーネントに関するシグナリング情報を含む第2の伝送パケットとが多重化された伝送ストリームを、所定の伝送路を通じて受信する受信ステップを有し、
    上記第2の伝送パケットには、コンポーネント選択情報が挿入されており、
    上記コンポーネント選択情報は、上位から、最終的な選択を行うセレクティブレイヤ、合成を行うコンポジットレイヤおよび動的な切り替えを行うアダプティブレイヤにより構成されるコンポーネントレイヤ構造におけるコンポーネントの選択情報を含み、
    上記アダプティブレイヤで選択し得る各コンポーネントの情報には取得先情報が含まれており、
    上記アダプティブレイヤで選択し得る各コンポーネントのうち、アダプティブ切り替えの対象となっているコンポーネントの取得先情報は、アダプティブストリーミングのためのデータストリーム取得情報を持つメタファイルの特定の情報位置を指定する情報とされており、
    上記コンポーネント選択情報に基づいて提示すべきコンポーネントを選択するコンポーネント選択ステップをさらに有する
    受信方法。
JP2016561482A 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法 Active JP6743704B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014239386 2014-11-26
JP2014239386 2014-11-26
PCT/JP2015/081523 WO2016084591A1 (ja) 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016084591A1 JPWO2016084591A1 (ja) 2017-09-07
JP6743704B2 true JP6743704B2 (ja) 2020-08-19

Family

ID=56074161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561482A Active JP6743704B2 (ja) 2014-11-26 2015-11-09 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (2) US10869099B2 (ja)
EP (1) EP3226566B1 (ja)
JP (1) JP6743704B2 (ja)
KR (1) KR102390622B1 (ja)
BR (1) BR112017010575A2 (ja)
CA (1) CA2967245C (ja)
MX (1) MX2017006579A (ja)
WO (1) WO2016084591A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259750B (zh) * 2015-08-06 2023-02-03 麦克赛尔株式会社 影像显示装置
JP7031589B2 (ja) * 2016-07-20 2022-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6967370B2 (ja) * 2017-05-17 2021-11-17 ソニーグループ株式会社 受信装置、受信方法、送信装置、及び送信方法
WO2018235685A1 (ja) * 2017-06-21 2018-12-27 マクセル株式会社 受信装置
EP3692721A1 (en) 2017-10-04 2020-08-12 VID SCALE, Inc. Customized 360-degree media viewing
JP2019134290A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134296A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134291A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134292A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134293A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134295A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134297A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134294A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
US11368730B2 (en) * 2019-08-27 2022-06-21 Electronics And Telecommunications Research Institute Apparatus and method for transmitting broadcast content based on ATSC 3.0, and apparatus and method for receiving broadcast content based ATSC 3.0
US12003825B1 (en) * 2022-09-21 2024-06-04 Amazon Technologies, Inc. Enhanced control of video subtitles

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322613A (ja) * 1997-05-16 1998-12-04 Hitachi Ltd 情報受信再生装置および記録媒体
GB0015661D0 (en) * 2000-06-28 2000-08-16 Pace Micro Tech Plc Broadcast data receiver with dual tuning capability
EP2314073B1 (en) 2008-08-20 2014-04-30 Thomson Licensing Selection of watermarks for the watermarking of compressed video
WO2011151960A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置および出力方法
US9456015B2 (en) * 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
WO2012157756A1 (ja) * 2011-05-19 2012-11-22 日本放送協会 受信機
KR101887506B1 (ko) * 2011-09-22 2018-08-13 삼성전자주식회사 방송 시스템에서 방송 콘텐츠 재생 방법 및 장치
WO2013057315A2 (en) * 2011-10-21 2013-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Resource management concept
KR102003925B1 (ko) * 2011-11-23 2019-10-02 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
WO2013077697A1 (ko) 2011-11-25 2013-05-30 (주)휴맥스 Mmt 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
JP5778591B2 (ja) 2012-01-24 2015-09-16 日本放送協会 送信装置、送信方法、受信装置及び受信方法
JP5938930B2 (ja) 2012-02-10 2016-06-22 ブラザー工業株式会社 印刷制御装置および印刷制御プログラム
KR20130119885A (ko) * 2012-04-24 2013-11-01 한국전자통신연구원 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
BR112014004057A2 (pt) * 2012-07-02 2017-03-07 Sony Corp dispositivo e método de transmissão, e, aparelho de rede
KR101995314B1 (ko) * 2013-04-22 2019-07-02 삼성전자주식회사 Dvb 지상파 방송 시스템에서 mpeg mmt를 위한 시그널링 정보를 송수신하는 장치 및 방법
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
JP6635036B2 (ja) 2014-07-10 2020-01-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US11678022B2 (en) 2023-06-13
WO2016084591A1 (ja) 2016-06-02
EP3226566B1 (en) 2022-03-30
EP3226566A4 (en) 2018-06-27
CA2967245A1 (en) 2016-06-02
CA2967245C (en) 2022-08-30
KR20170087868A (ko) 2017-07-31
KR102390622B1 (ko) 2022-04-26
JPWO2016084591A1 (ja) 2017-09-07
MX2017006579A (es) 2017-09-01
US10869099B2 (en) 2020-12-15
US20210058680A1 (en) 2021-02-25
EP3226566A1 (en) 2017-10-04
US20170325000A1 (en) 2017-11-09
BR112017010575A2 (pt) 2018-02-14

Similar Documents

Publication Publication Date Title
JP6743704B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
US10009660B2 (en) Media content transceiving method and transceiving apparatus using same
US10771175B2 (en) Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
US20130271568A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
US20120269207A1 (en) Receiver for receiving and displaying a plurality of streams through separate routes, method for processing the plurality of streams and transmitting method thereof
WO2015146647A1 (ja) 送信装置、送信方法、受信装置、受信方法、及び、プログラム
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
WO2015115253A1 (ja) 受信装置、受信方法、送信装置、及び、送信方法
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R151 Written notification of patent or utility model registration

Ref document number: 6743704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151