JP6563814B2 - 受信装置、受信方法、送信装置、及び送信方法 - Google Patents

受信装置、受信方法、送信装置、及び送信方法 Download PDF

Info

Publication number
JP6563814B2
JP6563814B2 JP2015551451A JP2015551451A JP6563814B2 JP 6563814 B2 JP6563814 B2 JP 6563814B2 JP 2015551451 A JP2015551451 A JP 2015551451A JP 2015551451 A JP2015551451 A JP 2015551451A JP 6563814 B2 JP6563814 B2 JP 6563814B2
Authority
JP
Japan
Prior art keywords
component
hierarchy
broadcast
communication
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015551451A
Other languages
English (en)
Other versions
JPWO2015083541A1 (ja
Inventor
北里　直久
直久 北里
山岸　靖明
靖明 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Publication of JPWO2015083541A1 publication Critical patent/JPWO2015083541A1/ja
Application granted granted Critical
Publication of JP6563814B2 publication Critical patent/JP6563814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)

Description

本技術は、受信装置、受信方法、送信装置、及び送信方法に関し、特に、最適なコンポーネントを選択することができるようにした受信装置、受信方法、送信装置、及び送信方法に関する。
近年、デジタル放送の分野においては、放送を利用したサービスだけでなく、通信と連携したハイブリッド型のサービスの導入が進められている（例えば、特許文献１参照）。このようなハイブリッド型のサービスでは、当該サービスを構成するビデオやオーディオ、字幕などのコンポーネントを、放送又は通信のいずれかを用いて伝送することが可能である。
特開２０１１−６６５５６号公報
ハイブリッド型のサービスが導入されることで、多様なサービスを提供することが可能になる一方で、サービスを構成するコンポーネントの構成が複雑になることが想定されるが、各種のサービスごとに、最適なコンポーネントを選択するための技術方式は確立されていない。
本技術はこのような状況に鑑みてなされたものであり、各種のサービスごとに、最適なコンポーネントを選択することができるようにするものである。
本技術の一側面の受信装置は、放送波で送信される放送コンポーネントを受信する第１の受信部と、通信ネットワークを介して配信される通信コンポーネントを受信する第２の受信部と、前記第１の受信部及び前記第２の受信部の動作を制御する制御部とを備え、前記放送コンポーネントと、前記通信コンポーネントは、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造を有しており、前記第３の階層において、前記制御部は、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択し、前記第２の階層において、前記制御部は、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成し、前記第１の階層において、前記制御部は、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択し、前記制御部は、第２のカテゴリに属する前記放送コンポーネント及び前記通信コンポーネントに対する選択及び合成の少なくとも一方を行い、前記第２のカテゴリにおける１つのコンポーネントを選択する受信装置である。
本技術の一側面の送信装置は、放送波で送信される放送コンポーネントと、通信ネットワークを介して配信される通信コンポーネントを、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造としたときの前記階層構造に関する情報を含む制御情報を生成する生成部と、前記放送コンポーネントとともに、前記制御情報を送信する送信部とを備え、前記第３の階層は、受信装置が、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択するための階層であり、前記第２の階層は、前記受信装置が、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成するための階層であり、前記第１の階層は、前記受信装置が、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択するための階層である送信装置である。
受信装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術の一側面の受信装置、及び受信方法においては、放送波で送信される放送コンポーネントが受信され、通信ネットワークを介して配信される通信コンポーネントが受信され、前記放送コンポーネント及び前記通信コンポーネントの受信が制御される。また、前記放送コンポーネントと、前記通信コンポーネントは、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造を有しており、前記第３の階層において、前記放送コンポーネント又は前記通信コンポーネントが、第１のコンポーネントとして選択され、前記第２の階層において、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントが、第２のコンポーネントとして合成され、前記第１の階層において、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントが選択され、第２のカテゴリに属する前記放送コンポーネント及び前記通信コンポーネントに対する選択及び合成の少なくとも一方が行われ、前記第２のカテゴリにおける１つのコンポーネントが選択される。
本技術の一側面の送信装置、及び送信方法においては、放送波で送信される放送コンポーネントと、通信ネットワークを介して配信される通信コンポーネントを、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造としたときの前記階層構造に関する情報を含む制御情報が生成され、前記放送コンポーネントとともに、前記制御情報が送信される。また、前記第３の階層は、受信装置が、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択するための階層とされ、前記第２の階層は、前記受信装置が、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成するための階層とされ、前記第１の階層は、前記受信装置が、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択するための階層とされる。
本技術の一側面によれば、最適なコンポーネントを選択することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
コンポーネントレイヤ構成を示す図である。 シグナリング情報の構造例を示す図である。 コンポーネントレイヤの具体例を示す図である。 画面レイアウトの例を示す図である。 オーディオコンポーネントレイヤの具体例を示す図である。 オーディオコンポーネントレイヤの具体例を示す図である。 オーディオコンポーネントレイヤの具体例を示す図である。 オーディオコンポーネントレイヤの具体例を示す図である。 本技術を適用した放送通信システムの一実施の形態の構成を示す図である。 本技術を適用した送信装置の一実施の形態の構成を示す図である。 本技術を適用した配信サーバの一実施の形態の構成を示す図である。 本技術を適用した受信装置の一実施の形態の構成を示す図である。 送信処理を説明するフローチャートである。 配信処理を説明するフローチャートである。 受信処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。ただし、以下の順序にしたがって説明するものとする。
１．コンポーネント構成
２．システム構成
３．各装置で実行される処理の流れ
４．具体的な運用例
５．コンピュータの構成
＜１．コンポーネント構成＞
（コンポーネントレイヤ構成）
図１は、コンポーネントレイヤ構成を示す図である。
図１に示すように、ビデオ(Video)、オーディオ(Audio)、字幕(Caption)の各コンポーネントは、セレクティブレイヤ(Selective Layer)、コンポジットレイヤ(Composite Layer)、及び、アダプティブレイヤ(Adaptive Layer)の３階層から構成される。この階層構造においては、アダプティブレイヤの上位階層として、コンポジットレイヤが配置され、コンポジットレイヤの上位階層として、セレクティブレイヤが配置されている。以下、各レイヤの詳細について順に説明する。
（アダプティブレイヤ）
まず、アダプティブレイヤについて説明する。図１に示すように、最も下位の階層となるアダプティブレイヤにおいて、異なる模様が付された円形の一方の記号は、放送波で送信されるコンポーネント(Broadcast Component)を表し、他方の記号は、ネットワークを介して配信されるコンポーネント(Broadband Component)を表している。これらのコンポーネントは、いわゆるアダプティブストリーミングとして配信されるものであって、ビットレートの異なるコンポーネントが複数用意されている。なお、図１の例では、放送のコンポーネントは、カテゴリごとに１つずつ用意されているが、複数用意するようにしてもよい。また、ここでは、ビデオやオーディオ、字幕などのコンポーネントの分類を、カテゴリ(Category)と称している。
アダプティブレイヤでは、図中の点線の弧上を左右に振れる直線が、スイッチとして機能することで、複数のコンポーネントの中から、１つのコンポーネントが選択される。すなわち、アダプティブレイヤは、各コンポーネントのカテゴリにおいて、受信機の適応的な判断に基づいて、複数のコンポーネントを動的に切り替えて、１つのコンポーネントとして機能させるための階層である。ただし、コンポーネントが１つのみである場合には、当該スイッチによる選択は行われずに、そのコンポーネントのみが常に選択されることになる。
また、アダプティブレイヤにおける適応選択対象の属性としては、コンポーネントの伝送経路やビットレートを指定することができる。例えば、伝送経路の属性値としては、放送又は通信が指定される。また、ビットレートとしては、例えば10Mbpsなどが指定される。さらに、例えば、画面解像度や物理層(PHY)のロバスト性に関する属性を指定するようにしてもよい。なお、上述した適応選択対象の属性は一例であって、他の属性を指定できるようにしてもよい。
このような属性を指定できることから、受信機では、一定期間（例えば10秒）ごとに、最適なコンポーネントが適応的に選択されて切り替えられ、アダプティブストリーミング配信が実現される。具体的には、コンポーネントの伝送経路が通信のみの場合には、通信経路の輻輳状況に応じて変化する受信機の受信バッファ（例えば、後述する図１２の受信バッファ４２１）の占有状況に応じて、最適なビットレートのコンポーネントを選択することができる。
また、コンポーネントの伝送経路として通信のほかに、放送も含まれる場合には、放送のコンポーネントのビットレートに応じて、通信のコンポーネントとの選択を判断することができる。ここで、例えば、ネットワークを介して配信されるコンポーネントとして、1Mbps，2Mbps，5Mbps，10Mbps，20Mbpsのコンポーネントがそれぞれ用意され、放送波で送信されるコンポーネントとして、8Mbpsのコンポーネントのみが用意されている場合の運用を想定する。
この場合、受信機は、10Mbps又は20Mbpsの通信のコンポーネントを受信できるのであれば、放送のコンポーネントのビットレートよりも高ビットレートなるので、それらの通信のコンポーネントを優先して受信するようにする。また、輻輳によって、10Mbpsと20Mbpsの通信のコンポーネントを受信することができずに、5Mbpsの通信のコンポーネントを受信できるのであれば、通信のコンポーネントの代わりに、安定的に受信可能な8Mbpsの放送のコンポーネントを選択するようにする、といった運用が可能となる。なお、放送のコンポーネントが複数用意されている場合には、例えば、放送信号のC/N(Carrier/Noise)の変化を測定して、その測定結果に応じて、適応的に放送のコンポーネントを切り替えるようにすればよい。
（コンポジットレイヤ）
次に、コンポジットレイヤについて説明する。図１に示すように、アダプティブレイヤの上位階層となるコンポジットレイヤでは、アダプティブレイヤにより適応的に選択された複数のコンポーネントが１つのコンポーネントに合成される。すなわち、コンポジットレイヤは、各コンポーネントのカテゴリにおいて、合成対象のコンポーネントグループ（以下、「コンポジットコンポーネントグループ」という）内の複数のコンポーネントを組み合わせて１つのコンポーネント（合成コンポーネント）として機能させるための階層である。ただし、合成対象のコンポーネントグループが１つのコンポーネントのみとなる場合には、合成動作は不要となる。
また、コンポジットレイヤにおける合成対象の属性としては、スケーラブルや３Ｄ（３次元映像）、タイル、レイヤ、ミキシングなどを指定することができる。これらの属性は、組み合わせのタイプを示すものであって、それらの組み合わせにおける要素を示す属性値を指定することができる。
「スケーラブル」は、合成対象のコンポーネントが、スケーラブル符号化が施されたコンポーネントであることを示す属性である。このスケーラブル属性の属性値としては、"Base"、又は、"Extended"が指定される。
例えば、４Ｋ解像度の映像を提供する場合に、スケーラブル属性の属性値として"Base"が指定された２Ｋ解像度の映像に相当する符号化信号（ビデオコンポーネント）を放送波で送信するとともに、４Ｋ解像度と２Ｋ解像度の差分に相当する映像符号化信号（ビデオコンポーネント）に、スケーラブル属性の属性値として"Extended"を指定して、ネットワークを介して配信するようにする。これにより、４Ｋ解像度に対応した受信機は、放送で伝送される基本ストリーム(Base Stream)と、通信で伝送される拡張ストリーム(Extended Stream)を合成して、４Ｋ解像度の映像を表示させることができる。一方、４Ｋ解像度に対応していない受信機は、放送で伝送される基本ストリームのみを用い、２Ｋ解像度の映像を表示させることになる。
「３Ｄ」は、合成対象のコンポーネントが、３Ｄ用のコンポーネントであることを示す属性である。この３Ｄ属性の属性値としては、"Right"、又は、"Left"が指定される。例えば、３Ｄ属性の属性値として"Right"が指定された右目用の映像信号（ビデオコンポーネント）を放送波で送信するとともに、３Ｄ属性の属性値として"Left"が指定された左目用の映像信号（ビデオコンポーネント）を、ネットワークを介して配信するようにする。これにより、３Ｄに対応した受信機は、右目用の映像信号と左目用の映像信号を合成して、３Ｄの映像を表示させることができる。
「タイル」は、合成対象のコンポーネントが、タイリング用のコンポーネントであることを示す属性である。このタイル属性の属性値としては、例えば、"TileA1"，"TileA2"，・・・や、"TileB1"，"TileB2"，・・・、"TileC1"，"TileC2"，・・・が指定される。
例えば、"TileA1"，"TileA2"，・・・において、"TileA"は、タイリングのタイプが、タイプＡであることを示す。タイプＡのタイリングが２枚のタイル用の映像を、左右に並べて表示する方式である場合、タイル属性の属性値として"TileA1"が指定された左側に配置されるタイル用の映像信号（ビデオコンポーネント）を放送波で送信するとともに、タイル属性の属性値として"TileA2"が指定された右側に配置されるタイル用の映像信号（ビデオコンポーネント）を、ネットワークを介して配信するようにする。これにより、タイリング表示に対応した受信機は、左側のタイル用の映像信号と右側のタイル用の映像信号を合成して、タイプＡのタイリングに対応する映像を表示させることができる。
同様に、例えば、タイプＢのタイリングが、４枚のタイル用の映像を２×２に並べて配置して表示する方式である場合、それらの４枚のタイル用の映像信号（ビデオコンポーネント）が、放送又は通信により伝送されるので、受信機では、それらのタイル用の映像を合成して、タイプＢのタイリングに対応する２×２の映像を表示させることができる。また、例えば、タイプＣのタイリングが、複数のタイル用の映像をパノラマ映像（例えば360度）として配置して表示する方式である場合、複数のタイル用の映像信号（ビデオコンポーネント）が、放送又は通信により伝送されるので、受信機では、それらのタイル用の映像信号を合成して、タイプＣのタイリングに対応するパノラマ映像を表示させることができる。なお、上述したタイプＡ乃至Ｃのタイリング方式は一例であって、他のタイリング方式を採用することができる。
「レイヤ」は、合成対象のコンポーネントが、階層状に表示されるコンポーネントのレイヤであることを示す属性である。このレイヤ属性の属性値としては、例えば重ね合わせの奥から順に、"Layer1"，"Layer2"，・・・が指定される。例えば、レイヤ属性の属性値として"Layer1"が指定された第１層目のレイヤの映像信号（ビデオコンポーネント）を放送波で送信するとともに、レイヤ属性の属性値として"Layer2"が指定された第２層目のレイヤの映像信号（ビデオコンポーネント）を、ネットワークを介して配信するようにする。これにより、レイヤ表示に対応した受信機では、第１層目の映像信号と第２層目の映像信号を合成して、第１層目の映像に、第２層目の映像が重ね合わされた映像を表示させることができる。
「ミキシング」は、合成対象のコンポーネントが、ミキシングされるコンポーネントであることを示す属性である。例えば、このミキシング属性としては、"Track1"，"Track2"，・・・が指定される。例えば、ミキシング属性の属性値として"Track1"が指定された音声トラック（オーディオコンポーネント）を放送波で送信するとともに、ミキシング属性の属性値として"Track2"が指定された音声トラック（オーディオコンポーネント）を、ネットワークを介して配信するようにする。これにより、ミキシングに対応した受信機では、音声トラック１と音声トラック２をミキシング（例えば、ボリューム相対位置やパン位置を調整）して、それにより得られた音声を出力することができる。
なお、上述したコンポジットレイヤにおける合成対象の属性やその属性値は一例であって、他の属性や他の属性値を指定できるようにしてもよい。
（セレクティブレイヤ）
最後に、セレクティブレイヤについて説明する。図１に示すように、コンポジットレイヤの上位階層であって、最も上位の階層となるセレクティブレイヤでは、図中の点線の弧上を左右に振れる直線が、スイッチとして機能することで、複数のコンポーネントの中から、１つのコンポーネントが選択される。すなわち、セレクティブレイヤは、各コンポーネントのカテゴリにおいて、固定選択対象のコンポーネントグループ（以下、「セレクティブコンポーネントグループ」という）の中から、所定の選択方法に応じて、１又は複数のコンポーネントを静的に選択するための階層である。この選択方法としては、ユーザによる選択のほか、例えば、受信機の性能やユーザの嗜好情報などに応じて受信機によって自動で選択されるようにすることができる。
また、セレクティブレイヤにおける固定選択対象の属性としては、ビュータグ、言語、受信機処理要求能力、ビュータイトル、目的などを指定することができる。
具体的には、「ビュータグ」は、１つのビューを構成する異なるコンポーネントのカテゴリを組み合わせるためのタグである。例えば、ビュータグとして、"１"が指定された場合には、図中の「１」であるIDが付与されたビデオ、オーディオ、及び、字幕のコンポーネントが、カテゴリを横断して選択されることになる。同様に、ビュータグとして、"２"が指定された場合、図中の「２」であるIDが付与されたコンポーネントが、カテゴリを横断して選択されることになる。なお、ビュータグが付与されていないコンポーネントは、カテゴリごとに独立していることになる。
「言語」には、例えば言語コードが指定される。例えば、言語コードに応じたGUI(Graphical User Interface)画面を提示することで、ユーザにより所望の言語が選択されることになる。「受信機処理要求能力」には、受信機で必要とされる処理要求能力が指定される。この要求能力は、レベル値などにより指定するようにしてもよいし、コーデックやレゾリューションなどを多次元で指定してもよい。例えば、処理要求能力をレベル値で指定する場合に、そのレベル値としてレベル２が指定されたときには、レベル２以上の処理能力を有する受信機のみが対応可能となる。
「ビュータイトル」には、ビュー画面選択用のタイトルが指定される。例えば、このビュータイトルをテキストで表示することで、ユーザにより所望のビュー画面が選択されることになる。「目的」には、例えば、本編用の音声に対する、ナレーション用の音声などのコンポーネントの目的に関する情報が指定される。
なお、上述したセレクティブレイヤにおける固定選択対象の属性は一例であって、他の属性を指定できるようにしてもよい。また、固定選択対象の属性は１つに限らず、複数の属性を組み合わせて利用するようにしてもよい。
このような固定選択対象の属性を指定できることから、例えば、受信機では、実行中のアプリケーションが、固定選択対象の属性に基づいて、コンポーネントを選択することができる。ただし、セレクティブコンポーネントグループが１つだけの場合には、選択する必要はなく、当該セレクティブコンポーネントグループが選択されることになる。また、ビュータグによって、ビデオ、オーディオ、字幕など、異なるカテゴリのコンポーネントの組み合わせでグルーピングされている場合には、グループ単位で、コンポーネントが選択されることになる。
また、受信機において、複数のコンポーネントが選択された場合に、その選択対象がビデオと字幕のコンポーネントであるときには、映像用と字幕用の複数の画面が表示されることになる。また、複数のコンポーネントが選択された場合に、その選択対象がオーディオコンポーネントのみであるときには、複数の音声がミキシング(Mixing)されてから、出力されることになる。
なお、図１のコンポーネントレイヤ構成の例では、各コンポーネントのカテゴリごとに、セレクティブレイヤが１つ存在する場合を示しているが、各コンポーネントのカテゴリごとに、セレクティブレイヤが複数存在するようにしてもよい。また、図１のコンポーネントレイヤ構成では、コンポーネントとして、ビデオ、オーディオ、字幕のコンポーネントについて説明したが、サービスを構成する他のコンポーネントについても同様のレイヤ構成を採用することができる。
（シグナリング情報の構造例）
図２は、図１のコンポーネントレイヤ構成を実現するためのシグナリング情報（制御信号）の構造例を示す図である。なお、図２において、要素と属性のうち、属性には「@」が付されている。また、インデントされた要素と属性は、その上位の要素に対して指定されたものとなる。
図２に示すように、topAttribute属性は、最終選択のための属性であって、m0種類(m0=1,…,m0)で定義される。例えば、topAttribute属性として、選択数と選択判断を定義することができる。選択数には、全体で選択可能なコンポーネントの数が指定される。また、選択判断には、ユーザによる選択や受信機による自動選択などが指定される。
SelectiveComponentGroup要素は、固定選択対象のコンポーネントグループであるセレクティブコンポーネントグループに関する情報が指定される。SelectiveComponentGroup要素は、CompositeComponentGroup要素の上位の要素となる。ただし、SelectiveComponentGroup要素の出現数は、n1(n1=1,…,n1)となる。
selectiveAttribute属性は、SelectiveComponentGroup要素に関して規定される複数の属性を示し、固定選択対象の属性がm1種類(m1=0,…,m1)規定される。例えば、selectiveAttribute属性には、上述したセレクティブレイヤにおける固定選択対象の属性として、ビュータグ、言語、受信機処理要求能力、ビュータイトル、目的などの個別の属性が規定される。
CompositeComponentGroup要素は、合成対象のコンポーネントグループであるコンポジットコンポーネントグループに関する情報が指定される。CompositeComponentGroup要素は、AdaptiveComponent要素の上位の要素となる。ただし、CompositeComponentGroup要素の出現数は、n2(n2=1,…,n2)となる。
compositeAttribute属性は、CompositeComponentGroup要素に関して規定される複数の属性を示し、合成対象の属性がm2種類(m2=0,…,m2)規定される。例えば、compositeAttribute属性には、上述したコンポジットレイヤにおける合成対象の属性として、スケーラブル、３Ｄ、タイル、レイヤ、ミキシングなどの個別の属性が規定される。また、これらの属性は、組み合わせのタイプを示すものであって、それらの組み合わせにおける要素を示す属性値を指定することができる。
AdaptiveComponent要素は、適応選択対象のコンポーネントに関する情報が指定される。ただし、AdaptiveComponent要素の出現数は、n3(n3=1,…,n3)となる。
adaptiveAttrbute属性は、AdaptiveComponent要素に関して規定される複数の属性を示し、適応選択対象の属性がm3種類(m3=0,…,m3)規定される。例えば、adaptiveAttrbute属性には、上述したアダプティブレイヤにおける適応選択対象の属性として、コンポーネントの伝送経路やビットレートなどが個別に規定される。componentId属性は、コンポーネントのIDが指定される。
なお、図２を参照して説明した、図１のコンポーネントレイヤ構成を実現するためのシグナリング情報のデータ構造は一例であって、他のデータ構造を採用することもできる。また、このシグナリング情報は、例えば、XML(Extensible Markup Language)等のマークアップ言語により記述される。
（コンポーネントレイヤの具体例）
次に、図３乃至図８を参照して、上述したコンポーネントレイヤの具体例について説明する。
図３のコンポーネントレイヤの具体例では、ビデオのコンポジットレイヤ（Composite Layer）における合成対象の属性として、スケーラブルが指定されており、その下位階層のアダプティブレイヤ(Adaptive Layer)において、基本ストリームが放送で伝送され（図中の「Scalable Base」）、拡張ストリームが通信で伝送されている（図中の「Scalable Extended」）。ここでは、基本ストリームとして、適応選択対象の放送のビデオコンポーネントが１つだけ用意されているため、その１つの放送のビデオコンポーネントが常に選択される。一方、拡張ストリームとして、適応選択対象の通信のビデオコンポーネントが複数用意されているため、それらの複数の通信のビデオコンポーネントの中から、最適なビデオコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。
ビデオのコンポジットレイヤでは、４Ｋ解像度の映像を提供するために、放送で伝送される２Ｋ解像度の映像号化信号（ビデオコンポーネント）と、通信で伝送される４Ｋ解像度と２Ｋ解像度の差分に相当する映像号化信号（ビデオコンポーネント）が合成されることになる。そして、セレクティブレイヤ(Selective Layer)において、例えば、その固定選択対象の属性として受信機処理要求能力が指定されている場合に、受信機が４Ｋ解像度に対応している場合には、その合成された４Ｋ解像度の映像を表示させることができる（図中の「4K Capable Main View」）。一方、受信機が４Ｋ解像度に対応していない場合には、放送で伝送される基本ストリームのみを用い、２Ｋ解像度の映像を表示させることになる（図中の「4K Disable Main View」）。すなわち、この場合、通信のビデオコンポーネントは用いられないため、ビデオコンポーネントの適応的な選択は行われないことになる（図中の「Non switching」）。
ここで、図４に示すように、メインビュー(Main View)とは、ディスプレイの画面における、主の表示領域を意味する。上記の４Ｋ解像度又は２Ｋ解像度の映像は、このメインビューに表示される。また、図４の画面例には、主の表示領域に対する補助的な表示領域となるサブビュー(Sub View)を表示させることができる。図３のコンポーネントレイヤの例では、セレクティブレイヤにおいて、セレクティブコンポーネントグループとして、サブビュー１(図中の「Sub View1」)と、サブビュー２(図中の「Sub View2」)が選択可能となっている。
サブビュー１では、アダプティブレイヤにおいて、通信のビデオコンポーネントが１つだけ用意されているため、適応的な選択は行われずに、その１つの通信のビデオコンポーネントが常に選択されることになる（図中の「Non switching」）。また、サブビュー２では、アダプティブレイヤにおいて、適応選択対象の通信のビデオコンポーネントが複数用意されており、複数の通信のビデオコンポーネントから適応的に、逐次最適な通信のビデオコンポーネントが選択されることになる（図中の「Adaptive switching」）。図４の画面例では、メインビューとともに、サブビュー１が表示されることになるが、メインビュー、サブビュー１、及び、サブビュー２のうち、どのビューを表示させるかについては、GUI画面などにより、ユーザに選択させることができる。
図３の説明に戻り、オーディオのコンポジットレイヤ(Composite Layer)では、その合成対象の属性として、スケーラブルが指定されており、その下位階層のアダプティブレイヤ(Adaptive Layer)において、ステレオのストリームが放送又は通信で伝送され（図中の「Stereo」）、マルチチャンネルのストリームが通信で伝送されている（図中の「Multi-channel Dev」）。
ここでは、ステレオのストリームとして、適応選択対象のオーディオコンポーネントが複数用意されているため、それらの複数の放送又は通信のオーディオコンポーネントの中から最適なオーディオコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。すなわち、放送のオーディオコンポーネントとして、通常のロバスト性（図中の「Normal Robustness」）と、高いロバスト性（図中の「High Robustness」）を有するオーディオコンポーネントをそれぞれ用意し、それらを適応的に選択できるようにすることで、例えば、高いロバスト性を有するオーディオコンポーネントが選択された場合に、何らかの原因で、受信機に映像を表示できないときでも、音声のみを出力する、といった運用が可能となる。また、放送のオーディオコンポーネントを受信できない場合には、通信のオーディオコンポーネントを選択するようにすればよい。
一方、マルチチャンネルのストリームとして、適応選択対象のオーディオコンポーネントが１つだけ用意されているため、その１つの通信のオーディオコンポーネントが常に選択される。
オーディオのコンポジットレイヤでは、放送で伝送されるステレオのオーディオコンポーネントと、通信で伝送されるマルチチャンネルのオーディオコンポーネントが合成され、22.2chのマルチチャンネルの合成コンポーネントが生成される。そして、セレクティブレイヤ(Selective Layer)において、例えば、その固定選択対象の属性として受信機処理要求能力が指定されている場合に、受信機が22.2chのマルチチャンネルに対応している場合には、その合成された22.2chのマルチチャンネルの音声を出力させることができる（図中の「22.2ch Capable Main View」）。一方、受信機が22.2chのマルチチャンネルに対応していない場合には、放送又は通信で伝送されるステレオのストリームのみを用い、ステレオの音声を出力させることになる（図中の「22.2ch Disable Main View」）。
ここで、これらのオーディオのセレクティブレイヤの固定選択対象の属性として、ビュータグ１が付与されているので、同様にビュータグ１が付与されているビデオのセレクティブレイヤのビデオコンポーネントに連動することになる。つまり、これらのオーディオコンポーネントに対応する音声は、図４の画面例のメインビューに表示される映像に対して出力されることになる。
また、セレクティブレイヤの固定選択対象の属性として、ビュータグ２が付与されているオーディオコンポーネントは、同様にビュータグ２が付与されているビデオのセレクティブレイヤのビデオコンポーネントに連動することになる（図中の「Sub View1」）。つまり、このオーディオコンポーネントに対応する音声は、図４の画面例のサブビュー１に表示される映像に対して出力されることになる。
さらに、ビュータグ３が付与されているオーディオコンポーネントは、同様にビュータグ３が付与されているビデオコンポーネントに連動することになる（図中の「Sub View2」）。なお、オーディオのサブビュー１とサブビュー２では、アダプティブレイヤにおいて、通信のオーディオコンポーネントが１つだけ用意されているため、適応的な選択は行われずに、その１つの通信のオーディオコンポーネントが常に選択されることになる。
また、図３に示すように、字幕のコンポジットレイヤ(Composite Layer)では、字幕コンポーネントの合成は行われず、さらに、アダプティブレイヤ(Adaptive Layer)では、字幕コンポーネントの適応的な選択が行われないため、セレクティブレイヤ(Selective Layer)における字幕コンポーネントと、アダプティブレイヤにおける字幕コンポーネントが１対１で対応している。なお、字幕コンポーネントのうち、図中の最も左側の１つの字幕コンポーネントのみが放送で伝送され、それ以外の字幕コンポーネントは、通信により伝送されている。
セレクティブレイヤの固定選択対象の属性として、ビュータグ１が付与されている字幕コンポーネントは、同様にビュータグ１が付与されているビデオとオーディオのコンポーネントに連動することになる。具体的には、この例の場合、英語とスペイン語の字幕が提供されるが、それらの字幕には、本編の字幕（図中の「Eng(Nor)」，「Spa(Nor)」）のほか、より詳細な解説的な字幕（図中の「Eng(Ex)」，「Spa(Ex)」）が用意されている。字幕のセレクティブレイヤにおいて、例えば、その固定選択対象の属性として、ユーザ選択により言語が指定されている場合、その言語コード等に応じた字幕を表示させることができる。すなわち、ユーザにより選択された英語やスペイン語などの字幕が、図４の画面例のメインビューに表示される映像に重畳して表示されることになる。
また、セレクティブレイヤの固定選択対象の属性として、ビュータグ２が付与されている字幕コンポーネントは、同様にビュータグ２が付与されているビデオとオーディオのコンポーネントに連動することになる。具体的には、英語の字幕（図中の「Eng」）と、スペイン語の字幕（図中の「Spa」）が用意されているので、図４の画面例のサブビュー１に表示される映像に、ユーザ選択に応じた字幕を重畳して表示させることができる。
さらに、セレクティブレイヤの固定選択対象の属性として、ビュータグ３が付与されている字幕コンポーネントは、同様にビュータグ３が付与されているビデオとオーディオのコンポーネントに連動することになる。具体的には、英語の字幕（図中の「Eng」）と、スペイン語の字幕（図中の「Spa」）が用意されているので、ユーザ選択に応じた字幕を映像に重畳して表示させることができる。
（オーディオコンポーネントレイヤの他の具体例）
次に、図５乃至図８を参照して、オーディオコンポーネントレイヤの他の具体例について説明する。
図５に示すように、オーディオのセレクティブレイヤ(Selective Layer)において、例えば、その属性値として、完全版(図中の「Complete Main」)又はミックス版(図中の「Tracks to be Mixed」)を指定可能にすることができる。
これにより、例えば、属性値として、完全版が指定された場合には、完全なオーディオコンポーネントが取得され、そのオーディオコンポーネントに対応する音声が出力されることになる。ただし、完全版のオーディオのストリームとして、高ビットレートの放送のオーディオコンポーネントと、低ビットレートの通信のオーディオコンポーネントが用意されており、最適なオーディオコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。
また、例えば、属性値としてミックス版が指定された場合には、音楽(図中の「Music」)、ダイアログ(図中の「Dialog」)、及び、エフェクト(図中の「Effect」)のコンポーネントがそれぞれ取得されて合成され、その合成コンポーネントに対応する音声が出力されることになる。ただし、音楽のストリームとして、高ビットレートと低ビットレートの通信のオーディオコンポーネントが用意されており、最適なオーディオコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。
なお、図６及び図７に示すように、完全版のオーディオコンポーネントは提供せずに、ミックス版の複数のオーディオコンポーネントのみを提供するようにしてもよい。この場合において、音楽のストリームだけでなく、ダイアログやエフェクトのストリームについても、ビットレートの異なる複数のコンポーネントを用意して、最適なコンポーネントが適応的に選択されるようにすることができる。
また、図８に示すように、オーディオのセレクティブレイヤ(Selective Layer)において、例えば、言語の属性の属性値として、英語版(図中の「Main Eng Audio」)又はスペイン語版(図中の「Main Spa Audio」)を指定可能にすることができる。
これにより、例えば、属性値として、英語版が指定された場合には、ダイアログ(図中の「Dialog」)、エフェクト(図中の「Effect」)、及び、音楽(図中の「Music」)のコンポーネントがそれぞれ取得されて合成され、その合成コンポーネントに対応する英語の音声が出力されることになる。ただし、ダイアログのストリームとして、高ビットレートの放送のコンポーネントと、低ビットレートの通信のコンポーネントが用意されており、最適なコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。また、音楽のストリームとして、高ビットレートと低ビットレートの通信のコンポーネントが用意されており、最適なコンポーネントが適応的に選択されることになる（図中の「Adaptive switching」）。
また、例えば、属性値として、スペイン語版が指定された場合には、スペイン語版のオーディオのストリームとして、オーディオコンポーネントが１つだけ用意されているので、そのオーディオコンポーネントが取得され、スペイン語の音声が出力されることになる。
＜２．システム構成＞
（放送通信システムの構成）
図９は、本技術を適用した放送通信システムの一実施の形態の構成を示す図である。
図９に示すように、放送通信システム１は、データ提供サーバ１０、送信装置２０、配信サーバ３０、及び、受信装置４０から構成される。また、配信サーバ３０と受信装置４０は、インターネット等のネットワーク９０を介して相互に接続されている。
データ提供サーバ１０は、ビデオやオーディオ、字幕などの各種のコンポーネントを、送信装置２０及び配信サーバ３０に提供する。ここでは、例えば、テレビ番組を提供するサービスにおいて、アダプティブストリーミング配信を実現するために、当該テレビ番組を構成するコンポーネントとして、8Mbpsのビデオコンポーネントを送信装置２０に、1Mbps，2Mbps，5Mbps，10Mbps，20Mbpsのビデオコンポーネントを配信サーバ３０にそれぞれ提供する。
送信装置２０は、データ提供サーバ１０から提供される各種のコンポーネント（例えば、8Mbpsのビデオコンポーネント）を、デジタル放送の放送波によって送信する。また、送信装置２０は、コンポーネントとともに、制御信号（図２のシグナリング情報）を、デジタル放送の放送波で送信する。なお、この制御信号（図２のシグナリング情報）は、ネットワーク９０に接続された専用のサーバなどから配信されるようにしてもよい。
配信サーバ３０は、受信装置４０からの要求に応じて、データ提供サーバ１０から提供される各種のコンポーネント（例えば、1Mbps，2Mbps，5Mbps，10Mbps，20Mbpsのビデオコンポーネント）を、ネットワーク９０を介して、受信装置４０に配信する。
受信装置４０は、送信装置２０から送信された放送信号を受信して、制御信号（図２のシグナリング情報）を取得する。受信装置４０は、制御信号に応じて、送信装置２０から送信される、ビデオやオーディオ、字幕などの各種のコンポーネント（例えば、8Mbpsのビデオコンポーネント）を取得する。また、受信装置４０は、制御信号に応じて、配信サーバ３０から配信される、ビデオやオーディオ、字幕などの各種のコンポーネント（例えば、1Mbps，2Mbps，5Mbps，10Mbps，20Mbpsのビデオコンポーネント）を取得する。
受信装置４０は、ビデオや字幕のコンポーネントの映像をディスプレイに表示するとともに、その映像に同期したオーディオコンポーネントの音声をスピーカから出力する。ここでは、例えば、一定期間（例えば10秒）ごとに、8Mbpsの放送のビデオコンポーネントと、1Mbps，2Mbps，5Mbps，10Mbps，20Mbpsの通信のビデオコンポーネントの中から、最適なビデオコンポーネントが適応的に選択されて切り替えられ、アダプティブストリーミング配信が実現されることになる。
なお、受信装置４０は、ディスプレイやスピーカを含んで単体として構成されるようにしてもよいし、テレビジョン受像機やビデオレコーダ等に内蔵されるようにしてもよい。
放送通信システム１は、以上のように構成される。次に、図９の放送通信システム１を構成する各装置の詳細な構成について説明する。
（送信装置の構成）
図１０は、本技術を適用した送信装置の一実施の形態の構成を示す図である。
図１０に示すように、送信装置２０は、コンポーネント取得部２０１、制御信号取得部２０２、Mux２０３、及び、送信部２０４から構成される。
コンポーネント取得部２０１は、データ提供サーバ１０から各種のコンポーネントを取得し、Mux２０３に供給する。
制御信号取得部２０２は、データ提供サーバ１０等の外部のサーバや、内蔵するストレージから制御信号（図２のシグナリング情報）を取得し、Mux２０３に供給する。
Mux２０３は、コンポーネント取得部２０１からの各種のコンポーネントと、制御信号取得部２０２からの制御信号を多重化して、トランスポートストリームを生成し、送信部２０４に供給する。
送信部２０４は、Mux２０３から供給されるトランスポートストリームを放送信号として、アンテナ２０５を介して送信する。
（配信サーバの構成）
図１１は、本技術を適用した配信サーバの一実施の形態の構成を示す図である。
図１１に示すように、配信サーバ３０は、制御部３０１、コンポーネント取得部３０２、蓄積部３０３、及び、通信部３０４から構成される。
制御部３０１は、配信サーバ３０の各部の動作を制御する。
コンポーネント取得部３０２は、データ提供サーバ１０から各種のコンポーネントを取得し、制御部３０１に供給する。制御部３０１は、コンポーネント取得部３０２からの各種のコンポーネントを、蓄積部３０３に蓄積する。これにより、蓄積部３０３には、データ提供サーバ１０からの各種のコンポーネントが蓄積されることになる。
通信部３０４は、制御部３０１からの制御に従い、ネットワーク９０を介して受信装置４０と各種のデータをやりとりする。
制御部３０１は、受信装置４０からのストリーム（コンポーネント）の配信の要求を通信部３０４が受信した場合、当該要求に応じたコンポーネントを蓄積部３０３から読み出す。制御部３０１は、通信部３０４を制御して、蓄積部３０３から読み出したコンポーネントからなるストリームを、ネットワーク９０を介して受信装置４０に配信する。
（受信装置の構成）
図１２は、本技術を適用した受信装置の一実施の形態の構成を示す図である。
図１２に示すように、受信装置４０は、チューナ４０２、Demux４０３、選択／合成部４０４、選択／合成部４０５、選択／合成部４０６、制御部４０７、NVRAM４０８、入力部４０９、通信部４１０、Demux４１１、ビデオデコーダ４１２、ビデオ出力部４１３、オーディオデコーダ４１４、オーディオ出力部４１５、及び、字幕デコーダ４１６から構成される。
チューナ４０２は、アンテナ４０１により受信された放送信号から、選局が指示されたサービスの放送信号を抽出して復調し、その結果得られるトランスポートストリームを、Demux４０３に供給する。
Demux４０３は、チューナ４０２から供給されるトランスポートストリームを、各コンポーネントと、制御信号に分離して、各コンポーネントを、選択／合成部４０４乃至４０６に供給し、制御信号を、制御部４０７に供給する。ここでは、コンポーネントとして、ビデオコンポーネント、オーディオコンポーネント、字幕コンポーネントが分離され、選択／合成部４０４、選択／合成部４０５、選択／合成部４０６にそれぞれ供給される。
制御部４０７は、受信装置４０の各部の動作を制御する。NVRAM４０８は、不揮発性メモリであって、制御部４０７からの制御に従い、各種のデータを記録する。また、制御部４０７は、Demux４０３から供給される制御信号（図２のシグナリング情報）に基づいて、選択／合成部４０４乃至４０６により行われる選択／合成処理を制御する。
入力部４０９は、ユーザの操作に応じて、操作信号を制御部４０７に供給する。制御部４０７は、入力部４０９からの操作信号に基づいて、受信装置４０の各部の動作を制御する。
通信部４１０は、制御部４０７からの制御に従い、ネットワーク９０を介して配信サーバ３０と各種のデータをやりとりする。通信部４１０は、配信サーバ３０から受信したストリームを、Demux４１１に供給する。このとき、通信部４１０は、内部に設けられた受信バッファ４２１にストリームデータをバッファしながら、配信サーバ３０から配信されるストリームを受信することになる。
Demux４１１は、通信部４１０から供給されるストリームを、各コンポーネントに分離して、選択／合成部４０４乃至４０６に供給する。ここでは、分離後のコンポーネントのうち、ビデオコンポーネントが選択／合成部４０４、オーディオコンポーネントが選択／合成部４０５、字幕コンポーネントが選択／合成部４０６にそれぞれ供給される。
選択／合成部４０４は、制御部４０７からの制御に従い、Demux４０３からのビデオコンポーネントと、Demux４１１からのビデオコンポーネントに対し、選択／合成処理（例えば、図１のビデオコンポーネントレイヤにおける各レイヤの処理）を行い、その処理の結果得られるビデオコンポーネントを、ビデオデコーダ４１２に供給する。
ビデオデコーダ４１２は、選択／合成部４０４から供給されるビデオコンポーネントを復号し、それにより得られるビデオデータを、ビデオ出力部４１３に供給する。ビデオ出力部４１３は、ビデオデコーダ４１２から供給されるビデオデータを、後段のディスプレイ（不図示）に出力する。これにより、ディスプレイには、例えば、テレビ番組の映像などが表示される。
選択／合成部４０５は、制御部４０７からの制御に従い、Demux４０３からのオーディオコンポーネントと、Demux４１１からのオーディオコンポーネントに対し、選択／合成処理（例えば、図１のオーディオコンポーネントレイヤにおける各レイヤの処理）を行い、その処理の結果得られるオーディオコンポーネントを、オーディオデコーダ４１４に供給する。
オーディオデコーダ４１４は、選択／合成部４０５から供給されるオーディオコンポーネントを復号して、それにより得られるオーディオデータを、オーディオ出力部４１５に供給する。オーディオ出力部４１５は、オーディオデコーダ４１４から供給されるオーディオデータを、後段のスピーカ（不図示）に供給する。これにより、スピーカからは、例えば、テレビ番組の映像に対応する音声が出力される。
選択／合成部４０６は、制御部４０７からの制御に従い、Demux４０３からの字幕コンポーネントと、Demux４１１からの字幕コンポーネントに対し、選択／合成処理（例えば、図１の字幕コンポーネントレイヤにおける各レイヤの処理）を行い、その処理の結果得られる字幕コンポーネントを、字幕デコーダ４１６に供給する。
字幕デコーダ４１６は、選択／合成部４０６から供給される字幕コンポーネントを復号して、それにより得られる字幕データを、ビデオ出力部４１３に供給する。ビデオ出力部４１３は、字幕デコーダ４１６から字幕データが供給された場合、その字幕データを、ビデオデコーダ４１２からのビデオデータに合成し、後段のディスプレイ（不図示）に供給する。これにより、ディスプレイには、テレビ番組の映像とともに、その映像に対応した字幕が表示される。
なお、図１２の受信装置４０においては、説明の都合上、各デコーダの前段に、選択／合成部４０４乃至４０６が設けられる構成を示したが、選択／合成処理の内容によっては、選択／合成部４０４乃至４０６が、各デコーダの後段に設けられる構成を採用するようにしてもよい。
＜３．各装置で実行される処理の流れ＞
次に、図９の放送通信システム１を構成する各装置で実行される処理の流れについて、図１３乃至図１５のフローチャートを参照して説明する。
（送信処理）
まず、図１３のフローチャートを参照して、図９の送信装置２０により実行される、送信処理について説明する。
ステップＳ２０１において、コンポーネント取得部２０１は、データ提供サーバ１０から各種のコンポーネントを取得し、Mux２０３に供給する。
ステップＳ２０２において、制御信号取得部２０２は、外部のサーバなどから制御信号（図２のシグナリング情報）を取得し、Mux２０３に供給する。
ステップＳ２０３において、Mux２０３は、コンポーネント取得部２０１からの各種のコンポーネントと、制御信号取得部２０２からの制御信号を多重化して、トランスポートストリームを生成し、送信部２０４に供給する。
ステップＳ２０４において、送信部２０４は、Mux２０３から供給されるトランスポートストリームを放送信号として、アンテナ２０５を介して送信する。ステップＳ２０４の処理が終了すると、図１３の送信処理は終了される。
以上、送信処理について説明した。この送信処理においては、データ提供サーバ１０から提供される各種のコンポーネントと、制御信号が、放送波により送信されることになる。
（配信処理）
次に、図１４のフローチャートを参照して、図９の配信サーバ３０により実行される、配信処理について説明する。ただし、配信サーバ３０において、蓄積部３０３には、データ提供サーバ１０から取得された各種のコンポーネントが蓄積済みであるものとする。
ステップＳ３０１において、制御部３０１は、通信部３０４を常に監視して、ネットワーク９０を介して受信装置４０からコンポーネントが要求されたかどうかを判定する。ステップＳ３０１においては、受信装置４０からのコンポーネントの要求を待って、処理は、ステップＳ３０２に進められる。
ステップＳ３０２において、制御部３０１は、受信装置４０からの要求に応じたコンポーネントを、蓄積部３０３から読み出す。
ステップＳ３０３において、制御部３０１は、通信部３０４を制御して、蓄積部３０３から読み出したコンポーネント（ストリーム）を、ネットワーク９０を介して、受信装置４０に配信する。ステップＳ３０３の処理が終了すると、図１４の配信処理は終了する。
以上、配信処理について説明した。この配信処理においては、受信装置４０からの要求に応じて、データ提供サーバ１０から提供される各種のコンポーネント（ストリーム）が、ネットワーク９０を介して配信されることになる。
（受信処理）
次に、図１５のフローチャートを参照して、図９の受信装置４０により実行される、受信処理について説明する。この受信処理は、例えば、ユーザによるリモートコントローラの操作によって、受信装置４０が起動され、選局指示がなされた場合などに実行される。
ステップＳ４０１において、チューナ４０２は、アンテナ４０１を介して放送信号を受信し、放送信号から選局が指示されたサービスの放送信号を抽出して復調する。また、Demux４０３は、チューナ４０２からのトランスポートストリームを、コンポーネントと制御信号に分離する。
ステップＳ４０２において、制御部４０７は、Demux４０３からの制御信号（図２のシグナリング情報）に基づいて、複数のコンポーネントの候補の中から、最適なコンポーネントを選択する。
具体的には、制御部４０７では、制御信号として、図２のシグナリング情報が取得されるので、その選択肢の中で、まず、topAttribute属性で、選択すべきコンポーネントの数を踏まえた上で、選択判断に応じた動作を制御する。
例えば、選択判断がユーザ選択となる場合には、制御部４０７は、最上位の階層のセレクティブレイヤの各セレクティブコンポーネントグループに、固定選択対象の属性として指定される情報をGUI画面により表示して、ユーザがセレクティブコンポーネントグループ（コンポーネント）を選択するようにする。また、例えば、選択判断が受信機自動選択となる場合には、制御部４０７は、最上位の階層のセレクティブレイヤの各セレクティブコンポーネントグループに、固定選択対象の属性として指定される情報に基づいて、セレクティブコンポーネントグループ（コンポーネント）を選択する。
このコンポーネント選択処理は、基本的に、ビデオやオーディオなどのコンポーネントのカテゴリごとに実行されるが、固定選択対象の属性としてビュータグが指定されている場合には、カテゴリを横断してセレクティブコンポーネントグループ（コンポーネント）が選択されることになる。
次に、制御部４０７は、選択したセレクティブコンポーネントグループ（コンポーネント）に、複数のCompositeComponentGroup要素が存在する場合には、コンポジットレイヤにおいて、指定されたコンポーネント合成を行うべき複数のコンポーネントを、下位の階層のアダプティブレイヤの適応選択対象のコンポーネントから選択する。そして、制御部４０７は、選択／合成部４０４乃至４０６を制御して、適応的に選択された複数のコンポーネントを用い、合成処理を行う。
ここでは、例えば、コンポジットコンポーネントグループに、合成対象の属性としてスケーラブルが指定されていた場合、放送で伝送される基本ストリームと、通信で伝送される拡張ストリームとが合成されることになる。また、例えば、コンポジットコンポーネントグループに属性として３Ｄが指定されていた場合には、放送で伝送される右目用の映像と、通信で伝送される左目用の映像とが合成されることになる。
なお、ここでは、複数のCompositeComponentGroup要素が存在する場合について説明したが、CompositeComponentGroup要素が１つだけの場合には、コンポジットレイヤにおいて、下位の階層のアダプティブレイヤの適応選択対象のコンポーネントから適応的に、逐次最適なコンポーネントを選択するようにする。また、アダプティブレイヤにおいて、適応選択対象のコンポーネントが１つだけの場合には、そのコンポーネントが常に選択されることになる。
ステップＳ４０２の処理によって、最適なコンポーネントが選択されると、処理はステップＳ４０３に進められる。ステップＳ４０３において、ビデオ出力部４１３は、ステップＳ４０２の処理で選択されたビデオや字幕のコンポーネントに対応する映像を、ディスプレイに表示させる。また、ステップＳ４０３において、オーディオ出力部４１５は、ステップＳ４０２の処理で選択されたオーディオコンポーネントに対応する音声を、スピーカから出力する。ステップＳ４０３の処理が終了すると、図１５の受信処理は終了する。
以上、受信処理について説明した。この受信処理においては、制御信号（図２のシグナリング情報）に基づいて、放送又は通信により受信可能な複数のコンポーネントの候補の中から、最適なコンポーネントが選択され、提示されることになる。これにより、ユーザは、例えば所望のテレビ番組を選局した場合に、受信可能な複数のコンポーネントの候補の中から選択された最適なコンポーネントに対応する映像や音声を視聴することができる。
＜４．具体的な運用例＞
次に、本技術を適用した放送通信システム１により実現可能な具体的な運用例について説明する。
（１）マルチビュー表示サービス
放送通信システム１においては、送信装置１０から放送のコンポーネントが送信され、配信サーバ３０から通信のコンポーネントが配信されるため、受信装置４０では、放送による第１の映像をメインビューに表示するとともに、通信による第２の映像をサブビューに表示して、多画面表示や選択全画面表示が可能となる。
（２）多言語音声・字幕サービス
送信装置１０から送信される放送のテレビ番組（ビデオやオーディオのコンポーネント）に対し、スペイン語などの外国語の音声や字幕（オーディオや字幕のコンポーネント）を、ネットワーク９０を介して、配信サーバ３０から配信されるようにすることで、受信装置４０では、テレビ番組の映像に同期して、外国語の音声を出力したり、外国語の字幕を重畳表示したりすることが可能となる。
（３）手話映像配信サービス
送信装置１０から送信される放送のテレビ番組（ビデオやオーディオのコンポーネント）に対し、手話映像（ビデオコンポーネント）を、ネットワーク９０を介して、配信サーバ３０から配信されるようにすることで、受信装置４０では、テレビ番組の映像に対し、子画面で手話映像を表示することが可能となる。
（４）放送・通信の切り替えサービス
受信装置４０において、送信装置１０から送信される放送のテレビ番組（ビデオやオーディオのコンポーネント）を視聴中に、ユーザの選択操作に応じて、そのテレビ番組に関連する番組（ビデオやオーディオのコンポーネント）を、ネットワーク９０を介して、配信サーバ３０から配信されるようにすることで、受信装置４０では、関連番組を視聴することが可能となる。なお、通信のコンポーネントは複数用意されており、それらのコンポーネントが通信経路の輻輳状況などに応じて適応的に選択され、アダプティブストリーミング配信が実現される。また、通信による関連番組が終了すると、放送によるテレビ番組に戻されることになる。
（５）ＣＭ挿入サービス
受信装置４０において、送信装置１０から送信される放送のテレビ番組（ビデオやオーディオのコンポーネント）を視聴中に、テレビ番組からＣＭに切り替わるタイミングで、ユーザの嗜好情報に応じたＣＭ（ビデオやオーディオのコンポーネント）を、ネットワーク９０を介して、配信サーバ３０から取得することで、そのユーザに特化したＣＭ(Personalized CM)を視聴させることが可能となる。また、通信によるユーザに特化したＣＭが終了すると、放送によるテレビ番組に戻されることになる。
（６）ハイブリッド配信による超高精細テレビ(UHDTV：Ultra High Definition Television)対応サービス
例えば、４Ｋ解像度の映像を提供する場合に、送信装置１０から、基本ストリームとして、２Ｋ解像度の映像符号化信号（ビデオコンポーネント）を放送で送信するとともに、配信サーバ３０から、拡張ストリームとして、４Ｋ解像度と２Ｋ解像度の差分に相当する映像符号化信号（ビデオコンポーネント）を、ネットワーク９０を介して配信する場合を想定する。この場合、受信装置４０では、４Ｋ解像度に対応しているときには、放送で伝送される基本ストリームと、通信で伝送される拡張ストリームを合成して、４Ｋ解像度の映像を表示させることができる。なお、受信装置４０が、４Ｋ解像度に対応していないときには、放送で伝送される基本ストリームのみを用い、２Ｋ解像度の映像を表示させることになる。
また、８Ｋ解像度の映像を提供する場合も同様に、放送で伝送される基本ストリームとして、４Ｋ解像度の映像符号化信号（ビデオコンポーネント）を伝送し、通信で伝送される拡張ストリームとして、８Ｋ解像度と４Ｋ解像度の差分に相当する映像符号化信号（ビデオコンポーネント）を伝送するようにすることで、受信装置４０が、８Ｋ解像度に対応している場合には、それらのストリームを合成して、８Ｋ解像度の映像を表示させることができる。一方、受信装置４０が８Ｋ解像度に対応していない場合には、放送で伝送される基本ストリームのみを用い、４Ｋ解像度の映像を表示させることになる。
さらに、フレームレートとして、120pを提供する場合には、放送で伝送される基本ストリームとして、60p分のフレームの映像符号化信号（ビデオコンポーネント）を伝送し、通信で伝送される拡張ストリームとして、120pと60pの差分に相当する映像符号化信号（ビデオコンポーネント）を伝送するようにすることで、受信装置４０が、120pのフレームレートに対応している場合には、それらのストリームを合成して、120pのフレームレートで、映像が表示されることになる。一方、受信装置４０が120pのフレームレートに対応していない場合には、放送で伝送される基本ストリームのみを用い、60pのフレームレートで、映像が表示されることになる。
（７）音声の組み合わせサービス
送信装置１０から送信される放送のテレビ番組（ビデオやオーディオのコンポーネント）に対し、言語バリエーションの音声、本編又は解説の音声、その他の内容のバリエーションの音声（オーディオコンポーネント）を、送信装置１０から送信されるか、あるいは、ネットワーク９０を介して配信サーバ３０から配信されるようにすることで、受信装置４０では、ユーザの選択操作に応じて、それらの音声をミキシングして提供することが可能となる。
（８）放送と通信をまたいだアダプティブストリーミング配信サービス
放送通信システム１においては、送信装置１０から１又は複数のコンポーネントが送信され、配信サーバ３０から１又は複数のコンポーネントがネットワーク９０を介して配信されるため、受信装置４０では、それらの放送又は通信のコンポーネントを適応的に選択して、できる限り高画質の映像を得ることが可能となる。例えば、送信装置１０から２Ｋ解像度の映像（ビデオコンポーネント）を送信する一方、配信サーバ３０から４Ｋ解像度の映像（ビデオコンポーネント）を、ネットワーク９０を介して配信することで、受信装置４０では、基本的には、通信の４Ｋ解像度の映像を表示させるが、ネットワーク９０の輻輳状況に応じて、安定して受信できる放送の２Ｋ解像度の映像を表示させるといった、放送と通信をまたいだアダプティブストリーミング配信を実現することができる。
＜５．コンピュータの構成＞
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１６は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。バス９０４には、さらに、入出力インターフェース９０５が接続されている。入出力インターフェース９０５には、入力部９０６、出力部９０７、記録部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記録部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインターフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記録部９０８に記憶されているプログラムを、入出力インターフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、前述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インターフェース９０５を介して、記録部９０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部９０９で受信し、記録部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記録部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
ここで、本明細書において、コンピュータ９００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、前述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
放送波で送信されるコンポーネントを受信する第１の受信部と、
ネットワークを介して配信されるコンポーネントを受信する第２の受信部と、
各部の動作を制御する制御部と
を備え、
前記制御部は、受信可能な複数のコンポーネントの候補の中から、最適なコンポーネントを選択する
受信装置。
１ 放送通信システム， １０ データ提供サーバ， ２０ 送信装置， ３０ 配信サーバ， ４０ 受信装置， ２０１ コンポーネント取得部， ２０２ 制御信号取得部， ２０３ Mux， ２０４ 送信部， ３０１ 制御部， ３０２ コンポーネント取得部， ３０３ 蓄積部， ３０４ 通信部， ４０２ チューナ， ４０３ Demux， ４０４，４０５，４０６ 選択／合成部， ４０７ 制御部， ４０８ NVRAM， ４０９ 入力部， ４１０ 通信部， ４１１ Demux， ４１２ ビデオデコーダ， ４１３ ビデオデ出力部， ４１４ オーディオデコーダ， ４１５ オーディオ出力部， ４１６ 字幕デコーダ， ４２１ 受信バッファ， ９０ ネットワーク， ９００ コンピュータ， ９０１ CPU

Claims (12)

  1. 放送波で送信される放送コンポーネントを受信する第１の受信部と、
    通信ネットワークを介して配信される通信コンポーネントを受信する第２の受信部と、
    前記第１の受信部及び前記第２の受信部の動作を制御する制御部と
    を備え、
    前記放送コンポーネントと、前記通信コンポーネントは、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造を有しており、
    前記第３の階層において、前記制御部は、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択し、
    前記第２の階層において、前記制御部は、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成し、
    前記第１の階層において、前記制御部は、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択し、
    前記制御部は、第２のカテゴリに属する前記放送コンポーネント及び前記通信コンポーネントに対する選択及び合成の少なくとも一方を行い、前記第２のカテゴリにおける１つのコンポーネントを選択する
    受信装置。
  2. 前記第３の階層において、前記制御部は、放送信号のC/N(Carrier/Noise)の変化又は通信経路の輻輳状況に応じて、ビットレートの異なる前記放送コンポーネント及び前記通信コンポーネントの中から、前記第１のコンポーネントを選択する
    請求項１に記載の受信装置。
  3. 前記第３の階層で選択の対象となってないコンポーネントは、ベースレイヤとなり、
    前記第１のコンポーネントは、前記ベースレイヤを拡張するための拡張レイヤとなる前記放送コンポーネント又は前記通信コンポーネントである
    請求項１に記載の受信装置。
  4. 前記第１の階層において、前記制御部は、受信装置の処理能力に応じて、前記第１のカテゴリにおける１つのコンポーネントを選択する
    請求項１に記載の受信装置。
  5. 異なるカテゴリのコンポーネントは、１つのビューを構成する異なるコンポーネントのカテゴリを組み合わせるためのビュータグにより関連付けられる
    請求項１に記載の受信装置。
  6. 受信装置の受信方法において、
    前記受信装置が、
    放送波で送信される放送コンポーネントを受信し、
    通信ネットワークを介して配信される通信コンポーネントを受信し、
    前記放送コンポーネント及び前記通信コンポーネントの受信を制御する
    ステップを含み、
    前記放送コンポーネントと、前記通信コンポーネントは、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造を有しており、
    前記第３の階層において、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択し、
    前記第２の階層において、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成し、
    前記第１の階層において、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択し、
    第２のカテゴリに属する前記放送コンポーネント及び前記通信コンポーネントに対する選択及び合成の少なくとも一方を行い、前記第２のカテゴリにおける１つのコンポーネントを選択する
    ステップをさらに含む受信方法。
  7. 放送波で送信される放送コンポーネントと、通信ネットワークを介して配信される通信コンポーネントを、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造としたときの前記階層構造に関する情報を含む制御情報を生成する生成部と、
    前記放送コンポーネントとともに、前記制御情報を送信する送信部と
    を備え、
    前記第３の階層は、受信装置が、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択するための階層であり、
    前記第２の階層は、前記受信装置が、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成するための階層であり、
    前記第１の階層は、前記受信装置が、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択するための階層である
    送信装置。
  8. 前記放送コンポーネントと前記通信コンポーネントとは、ビットレートが異なる
    請求項７に記載の送信装置。
  9. 前記第３の階層で選択の対象となってないコンポーネントは、ベースレイヤとなり、
    前記第１のコンポーネントは、前記ベースレイヤを拡張するための拡張レイヤとなる前記放送コンポーネント又は前記通信コンポーネントである
    請求項７に記載の送信装置。
  10. 前記第１の階層は、前記受信装置の処理能力に応じて、前記第１のカテゴリにおける１つのコンポーネントを選択可能である
    請求項７に記載の送信装置。
  11. 前記制御情報は、前記第１のカテゴリを含む複数のカテゴリごとの前記階層構造に関する情報を含み、
    異なるカテゴリのコンポーネントは、１つのビューを構成する異なるコンポーネントのカテゴリを組み合わせるためのビュータグにより関連付けられる
    請求項７に記載の送信装置。
  12. 送信装置の送信方法であって、
    前記送信装置が、
    放送波で送信される放送コンポーネントと、通信ネットワークを介して配信される通信コンポーネントを、第１のカテゴリに属して、第１の階層、第２の階層、及び、第３の階層からなる階層構造としたときの前記階層構造に関する情報を含む制御情報を生成し、
    前記放送コンポーネントとともに、前記制御情報を送信する
    ステップを含み、
    前記第３の階層は、受信装置が、前記放送コンポーネント又は前記通信コンポーネントを、第１のコンポーネントとして選択するための階層であり、
    前記第２の階層は、前記受信装置が、前記第１のコンポーネント、及び、前記第３の階層で選択の対象となってないコンポーネントを、第２のコンポーネントとして合成するための階層であり、
    前記第１の階層は、前記受信装置が、前記第１のコンポーネント、前記第３の階層で選択の対象となっていないコンポーネント、及び、前記第２のコンポーネントの中から、前記第１のカテゴリにおける１つのコンポーネントを選択するための階層である
    送信方法。
JP2015551451A 2013-12-03 2014-11-19 受信装置、受信方法、送信装置、及び送信方法 Active JP6563814B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013250117 2013-12-03
JP2013250117 2013-12-03
PCT/JP2014/080577 WO2015083541A1 (ja) 2013-12-03 2014-11-19 受信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019137028A Division JP2019213208A (ja) 2013-12-03 2019-07-25 受信装置、受信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2015083541A1 JPWO2015083541A1 (ja) 2017-03-16
JP6563814B2 true JP6563814B2 (ja) 2019-08-21

Family

ID=53273308

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015551451A Active JP6563814B2 (ja) 2013-12-03 2014-11-19 受信装置、受信方法、送信装置、及び送信方法
JP2019137028A Ceased JP2019213208A (ja) 2013-12-03 2019-07-25 受信装置、受信方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019137028A Ceased JP2019213208A (ja) 2013-12-03 2019-07-25 受信装置、受信方法、及びプログラム

Country Status (7)

Country Link
US (3) US9955219B2 (ja)
EP (1) EP3079373B1 (ja)
JP (2) JP6563814B2 (ja)
KR (2) KR102249978B1 (ja)
CA (1) CA2931058C (ja)
MX (2) MX366219B (ja)
WO (1) WO2015083541A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489413B2 (ja) * 2014-12-05 2019-03-27 パナソニックＩｐマネジメント株式会社 管理装置及び画像処理システム
CN105100829B (zh) * 2015-06-29 2019-07-02 小米科技有限责任公司 视频内容截取方法及装置
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
CN113724717B (zh) * 2020-05-21 2023-07-14 成都鼎桥通信技术有限公司 车载音频处理系统、方法、车机控制器和车辆

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441704B1 (ko) * 1999-12-03 2004-07-27 마츠시타 덴끼 산교 가부시키가이샤 데이터 적합화 장치, 데이터 적합화 방법, 기억 매체 및프로그램
CN101682434B (zh) 2007-06-18 2012-11-14 诺基亚公司 用于连续回放多媒体的方法和设备
US20090135177A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for voice personalization of video content
KR20090117424A (ko) * 2008-05-09 2009-11-12 엘지전자 주식회사 이동 단말기 및 이것의 방송 모드 선택 방법
JP5493627B2 (ja) 2009-09-15 2014-05-14 ソニー株式会社 情報処理装置、データ管理方法、およびプログラム
JP2011087033A (ja) 2009-10-14 2011-04-28 Sanyo Electric Co Ltd コンテンツ再生装置
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
KR101887506B1 (ko) 2011-09-22 2018-08-13 삼성전자주식회사 방송 시스템에서 방송 콘텐츠 재생 방법 및 장치
KR20130040156A (ko) * 2011-10-13 2013-04-23 경희대학교 산학협력단 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
KR20130058648A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
JP2013157820A (ja) * 2012-01-30 2013-08-15 Sharp Corp 生成装置、再生装置、生成方法、再生方法、データ構造、制御プログラム、および記録媒体
JP6153298B2 (ja) * 2012-04-24 2017-06-28 シャープ株式会社 配信装置、再生装置、データ構造、配信方法、制御プログラム、および記録媒体
US9544641B2 (en) * 2012-05-10 2017-01-10 Humax Co., Ltd. Hybrid transmission method through MMT packet format extension

Also Published As

Publication number Publication date
JPWO2015083541A1 (ja) 2017-03-16
CA2931058C (en) 2021-04-06
US20160301975A1 (en) 2016-10-13
KR20200085354A (ko) 2020-07-14
KR20160091901A (ko) 2016-08-03
KR102249978B1 (ko) 2021-05-11
EP3079373A1 (en) 2016-10-12
WO2015083541A1 (ja) 2015-06-11
KR102132061B1 (ko) 2020-07-08
US11039212B2 (en) 2021-06-15
MX366219B (es) 2019-07-03
US20180167683A1 (en) 2018-06-14
US10425688B2 (en) 2019-09-24
CA2931058A1 (en) 2015-06-11
US9955219B2 (en) 2018-04-24
MX2016007040A (es) 2016-08-11
EP3079373A4 (en) 2017-09-27
EP3079373B1 (en) 2022-01-05
JP2019213208A (ja) 2019-12-12
MX2019007731A (es) 2019-09-06
US20190373321A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6358460B2 (ja) 受信装置、受信方法、送信装置、及び、送信方法
JP2019213208A (ja) 受信装置、受信方法、及びプログラム
KR101011612B1 (ko) 무선장치에서 멀티―프로그램 뷰잉
KR101281845B1 (ko) 스케일러블 비디오 전송 단말 장치에 대한 비주얼 프로그램 가이드 장치 및 방법
JP2005110286A (ja) 縮小ビデオ画像生成およびユーザインターフェース
US10306338B2 (en) Personalized user interface for managing multimedia streams
JP2015159561A (ja) ビデオストリームをクライアント側で合成するための装置および方法
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR101697385B1 (ko) 채널 적응형 계층적 방송 장치 및 방법
US10637904B2 (en) Multimedia streaming service presentation method, related apparatus, and related system
ES2880502T3 (es) Sistemas y métodos de recuperación de canales y gestión de memoria intermedia de revisión
KR101242478B1 (ko) 멀티 앵글 기반의 미디어 자키를 이용한 실시간 개인 방송 시스템
JP2010177986A (ja) 映像配信装置
US20100071006A1 (en) Broadcast receiving apparatus and method for providing and receiving an edited broadcast thereof
EP1873781A1 (en) Display of processing modes for digital broadcast data
BRPI0900357A2 (pt) mosaico de canais a partir da recepção do sinal 1-seg de acordo com o padrão japonês de televisão digital e suas variantes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190725

R150 Certificate of patent or registration of utility model

Ref document number: 6563814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250