JPWO2013061526A1 - 放送受信装置、放送受信方法およびプログラム - Google Patents
放送受信装置、放送受信方法およびプログラム Download PDFInfo
- Publication number
- JPWO2013061526A1 JPWO2013061526A1 JP2013513315A JP2013513315A JPWO2013061526A1 JP WO2013061526 A1 JPWO2013061526 A1 JP WO2013061526A1 JP 2013513315 A JP2013513315 A JP 2013513315A JP 2013513315 A JP2013513315 A JP 2013513315A JP WO2013061526 A1 JPWO2013061526 A1 JP WO2013061526A1
- Authority
- JP
- Japan
- Prior art keywords
- broadcast
- communication
- moving image
- content
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000004891 communication Methods 0.000 claims abstract description 599
- 230000008859 change Effects 0.000 abstract description 10
- 230000004048 modification Effects 0.000 description 88
- 238000012986 modification Methods 0.000 description 88
- 230000001360 synchronised effect Effects 0.000 description 68
- 238000010586 diagram Methods 0.000 description 42
- 230000015654 memory Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
- H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
放送コンテンツと通信コンテンツとのレイアウトを変更することができる放送受信装置(10A)は、通信を介して配信される通信コンテンツを受信する通信コンテンツ受信部(11b)と、放送コンテンツを受信する放送コンテンツ受信部(11a)と、放送コンテンツによって示される動画像である放送動画像のピクチャと、通信コンテンツによって示される動画像である通信動画像のピクチャとを保持するためのプレーン(13a,13b)と、放送動画像および通信動画像のレイアウトを示すレイアウト情報(20)を取得するレイアウト情報取得部(12)と、レイアウト情報(20)にしたがって、ピクチャごとに、プレーン(13a,13b)に保持されている放送動画像のピクチャと通信動画像のピクチャとを重ねて出力する重畳部(14)とを備える。
Description
本発明は、放送される放送コンテンツを受信する放送受信装置に関し、特に、放送以外の通信によって配信される通信コンテンツも受信する放送受信装置などに関する。
近年、インターネットテレビ、スマートテレビと呼ばれる通信を利用してコンテンツをダウンロードして再生することが可能なテレビ受像機(以下、TVという)が主流になりつつある(例えば、特許文献1〜3参照)。
たとえば、このようなTVは、放送コンテンツを受信する放送受信装置として構成されるとともに、インターネットに接続される。そして、TVは、接続されたインターネットを介して所望の通信コンテンツであるビデオを検索し、そのビデオをダウンロードして再生する。また、TVは、オンデマンドにより、映像音楽配信サイトからストリーミング配信されるコンテンツを受信して再生する。また、TVは、ゲームやユーティリティーなどのアプリケーションプログラムをダウンロードして実行し、さらに、ソーシャルネットワークサービスの通信機能などを有する。
しかしながら、上記特許文献1〜3の放送受信装置では、放送コンテンツの動画像と通信コンテンツの動画像とのレイアウトを変更することができないという問題がある。
そこで、本発明は、放送コンテンツと通信コンテンツとのレイアウトを変更することができる放送受信装置を提供する。
本発明の一態様に係る放送受信装置は、放送される放送コンテンツを受信する放送受信装置であって、放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信する通信コンテンツ受信部と、前記放送コンテンツを受信する放送コンテンツ受信部と、前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとを保持するためのプレーンと、前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得するレイアウト情報取得部と、前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力する重畳部とを備える。
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の放送受信装置は、放送コンテンツと通信コンテンツとのレイアウトを変更することができる。
(本発明の基礎となった知見)
「背景技術」の欄において記載した各放送受信装置は、具体的には以下のとおりである。
「背景技術」の欄において記載した各放送受信装置は、具体的には以下のとおりである。
特許文献1の放送受信装置は、放送コンテンツと通信コンテンツとを同期させて再生する。より具体的には、この放送受信装置は、放送コンテンツの放送開始時刻よりも前に、通信コンテンツの受信を開始することによって、放送コンテンツと通信コンテンツとを同期させて再生する。つまり、放送開始時刻より前に、通信コンテンツに関する情報が放送信号に埋め込まれて放送され、放送受信装置は、その情報を事前に取得することによって、通信コンテンツの受信を放送コンテンツの受信よりも前に開始することができる。
また、特許文献2の放送受信装置は、上述のような情報を電子番組ガイドから取得する。より具体的には、この放送受信装置は、Webサイトに通信コンテンツの情報が存在する場合でも、電子番組ガイドから通信コンテンツに関する情報を取得する。したがって、放送受信装置は、放送される番組の選択以前に通信コンテンツに関する情報を取得し、その情報を用いることによって放送コンテンツと通信コンテンツとのそれぞれの再生を同期させる。
また、特許文献3の放送受信装置は、メインのビデオとサブのビデオとを同期させて再生するという方法(PiP:Picture in Picture)を用いる。この方法では、大きく表示されるメインのビデオの上に、小さく表示されるサブのビデオが重ねられる。
しかしながら、本発明者は、上記特許文献1〜3の放送受信装置では、放送コンテンツの動画像と通信コンテンツの動画像とのレイアウトを変更することができないという問題があることを見出した。つまり、特許文献1および2の放送受信装置のように、放送コンテンツの動画像と通信コンテンツの動画像とを同期させて再生させる場合に、特許文献3のPiPの方法を用いても、放送コンテンツの動画像と通信コンテンツの動画像とのレイアウトは固定されてしまう。なお、特許文献3のPiPの方法では、メインのビデオが書き込まれるプレーンとサブのビデオが書き込まれるプレーンとが固定されているため、サブのビデオを全画面表示するとメインのビデオが見えなくなってしまう。
このような問題を解決するために、本発明の一態様に係る放送受信装置は、放送される放送コンテンツを受信する放送受信装置であって、放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信する通信コンテンツ受信部と、前記放送コンテンツを受信する放送コンテンツ受信部と、前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとを保持するためのプレーンと、前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得するレイアウト情報取得部と、前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力する重畳部とを備える。
これにより、レイアウト情報により示されるレイアウトにしたがって、放送動画像と通信動画像とが重ねられて出力されるため、そのレイアウト情報に応じて、放送コンテンツの動画像と通信コンテンツの動画像とのレイアウトを変更することができる。つまり、放送局がレイアウト情報を放送する場合には、放送局側でレイアウトを変更することができる。
また、前記レイアウト情報は、前記放送動画像および前記通信動画像のうちの一方の動画像が、他方の動画像よりも小さく、当該他方の動画像の上に重ねられる場合には、前記他方の動画像のうちの特徴部分を除く位置に前記一方の動画像が重ねられるように、前記放送動画像の表示サイズおよび表示位置と、前記通信動画像の表示サイズおよび表示位置とを示し、前記重畳部は、前記レイアウト情報によって示される、前記放送動画像および前記通信動画像のそれぞれの表示サイズで、前記レイアウト情報によって示される、前記放送動画像および前記通信動画像のそれぞれの表示位置に、前記放送動画像および前記放送動画像を配置してもよい。
これにより、放送動画像および通信動画像のレイアウトを、表示サイズおよび表示位置によって適切に変更することができる。
また、前記レイアウト情報は、第1のレイアウトと第2のレイアウトとを示し、前記放送受信装置は、さらに、レイアウトの指示を受け付ける指示受付部を備え、前記重畳部は、前記指示受付部によって前記第1のレイアウトの指示が受け付けられた場合には、前記第1のレイアウトにしたがって、前記通信動画像を前記放送動画像に重ねて出力し、前記指示受付部によって前記第2のレイアウトの指示が受け付けられた場合には、前記第2のレイアウトにしたがって、前記放送動画像を前記通信動画像に重ねて出力してもよい。
これにより、例えばユーザからのレイアウトの指示が受け付けられる場合には、レイアウト情報により示される範囲でユーザがそのレイアウトを変更することができる。
また、前記プレーンは、前記放送動画像および前記通信動画像のうちの一方の動画像のピクチャを保持するための第1のプレーンと、他方の動画像のピクチャを保持するための第2のプレーンとを有し、前記重畳部は、前記放送動画像のピクチャおよび前記通信動画像のピクチャをそれぞれ保持するためのプレーンを、第1のプレーンと第2のプレーンとで切り替えることによって、前記通信動画像を前記放送動画像の前面または背面に配置してもよい。
これにより、例えば、第1のプレーンに保持されるピクチャが背面に配置され、第2のプレーンに保持されるピクチャが前面に配置されるように、それぞれのプレーンのピクチャが重ねられる順序が固定されている場合であっても、各プレーンに格納されるピクチャの種類が切り替えられるため、放送動画像のピクチャと通信動画像のピクチャとが重ねられる順序を適切に変更することができる。
また、前記放送受信装置は、さらに、同期情報を前記放送受信装置の外部から取得する同期情報取得部を備え、前記重畳部は、前記同期情報にしたがって、前記通信動画像と前記放送動画像とを重ねて出力することによって、前記通信動画像を前記放送動画像に同期させてもよい。
これにより、通信動画像と放送動画像とを適切に重畳させた状態で同期させることができ、ユーザに対して見やすい映像を映し出すことができる。
また、前記同期情報は、前記通信コンテンツ内の再生位置と、当該再生位置のデータが再生される再生時刻とを関連付けて示し、前記重畳部は、前記同期情報によって示される再生時刻に、前記通信動画像のうち、当該再生時刻に関連付けて示される再生位置にあるピクチャと、前記放送動画像のピクチャとを重ねて出力してもよい。
これにより、通信動画像に含まれる複数のピクチャのうち、放送動画像のピクチャに対して適切なピクチャと、その放送動画像のピクチャとを重畳することができる。
また、前記同期情報は、さらに、前記放送コンテンツのタイプを放送タイプとして示し、前記重畳部は、前記放送タイプによって、前記放送コンテンツがライブ放送されるコンテンツであるか否かを判別し、ライブ放送されるコンテンツであると判別すると、前記放送動画像と前記通信動画像との重ね合わせを禁止してもよい。
放送以外の通信(例えばインターネットを介した通信)の状況が悪くなると、通信コンテンツの受信は遅れる。その結果、放送コンテンツと通信コンテンツとを同期させることができなくなる場合がある。したがって、通信状況による影響を受けた場合でもこれらのコンテンツを適切に同期させるためには、通信コンテンツの受信を、放送コンテンツの受信よりも早めに開始しておく必要がある。しかし、放送コンテンツがライブ放送される場合には、通信コンテンツの受信を、放送コンテンツの受信よりも早めに開始することができない。そこで、本発明の一態様に係る放送受信装置では、放送コンテンツがライブ放送される場合には、放送動画像と通信動画像との重ね合わせを禁止することによって、例えば放送動画像のみをディスプレイに表示させることができ、非同期の動画像が表示されることによってユーザの視聴に負担がかかるのを防ぐことができる。
また、前記同期情報は、さらに、静止画を特定するための静止画特定情報を含み、前記重畳部は、前記静止画特定情報によって特定される静止画と、前記放送動画像および前記通信動画像とを重ねて出力してもよい。
これにより、放送動画像および通信動画像に対して適切な静止画もそれらの動画像に重畳して表示させることができる。
また、前記重畳部は、通信コンテンツが前記通信コンテンツ受信部によって受信されない場合には、前記通信動画像を重ねることなく、前記放送動画像を出力してもよい。
これにより、動画像の無理な重畳がないため、ユーザの視聴にかかる負担を軽減することができる。
また、前記重畳部は、前記通信動画像がディスプレイの表示サイズ全体に表示され、前記放送動画像が前記ディスプレイの表示サイズよりも小さいサイズで前記通信動画像に重ねられている際に、前記通信コンテンツが前記通信コンテンツ受信部によって受信されていない状態になると、前記放送動画像の表示サイズを、前記ディスプレイの表示サイズまで拡大し、前記通信コンテンツが前記通信コンテンツ受信部によって受信されている状態になると、前記放送動画像の表示サイズを、前記ディスプレイの表示サイズよりも小さいサイズに縮小してもよい。
これにより、インターネットを介した通信などの放送以外の通信の通信状況が変動する場合であっても、動画像をユーザに見やすく表示することができる。
また、前記放送受信装置は、さらに、前記放送以外の通信の状況を示す通信状況情報を取得する通信状況取得部を備え、前記通信コンテンツ受信部は、前記放送コンテンツに関連する複数の通信コンテンツのうち、前記通信状況情報によって示される通信の状況に応じた品質を有する前記通信コンテンツを受信してもよい。例えば、前記複数の通信コンテンツのそれぞれのビットレート、または、前記複数の通信コンテンツのそれぞれの解像度は、互いに異なり、前記通信コンテンツ受信部は、前記複数の通信コンテンツのうち、前記通信状況情報によって示される通信の状況に応じたビットレートまたは解像度を有する前記通信コンテンツを受信する。
これにより、そのときの通信状況に応じて、適切な通信コンテンツを受信することができ、通信動画像をユーザに見やすく表示することができる。
また、前記放送受信装置は、さらに、前記放送以外の通信の状況を示す通信状況情報を取得する通信状況取得部を備え、前記重畳部は、前記通信状況情報によって示される通信の状況である指標値が所定の値よりも低いまたは高い場合には、前記通信動画像を重ねることなく、前記放送動画像を出力してもよい。
例えば、通信の状況である指標値は、使用可能なビットレートまたはパケットロスの頻度などであり、これらの指標値が所定の値よりも低いまたは高い場合には、通信コンテンツが通信コンテンツ受信部によって受信されない可能性が高まる。したがって、本発明の一態様に係る放送受信装置では、上述のような場合には、通信動画像が重畳されないため、動画像の無理な重畳を防ぎ、ユーザの視聴にかかる負担を軽減することができる。
また、前記重畳部は、前記放送動画像および通信動画像が、それぞれが互いに異なる目に視認されることによって立体視される、複数のピクチャからなる動画像である場合には、前記放送動画像に含まれるピクチャである放送ピクチャと、通信動画像に含まれるピクチャであって、前記放送ピクチャと対になって立体視される通信ピクチャとをそれぞれ重ねることなく、単位時間内に連続して出力し、前記通信ピクチャが前記通信コンテンツ受信部によって受信されなかった場合には、前記放送ピクチャを、単位時間内に2回連続して出力してもよい。
これにより、放送動画像と通信動画像とによって、動画像を3Dで表示することができるとともに、通信コンテンツが受信されないような場合には、放送ピクチャが2回連続して出力されるため、動画像の表示を3D表示から2D表示に適切に切り替えることができ、不適切な動画像が表示されてしまうのを防ぐことができる。
また、前記通信コンテンツ受信部は、前記放送コンテンツ受信部によって前記放送コンテンツが受信されている際に、前記放送以外の通信の状況が、前記通信コンテンツが受信可能な受信可能状況から、受信不可能な受信不可状況になり、再び受信可能状況になったときには、再び前記受信可能状況になったとき以降に前記放送コンテンツ受信部によって受信される前記放送コンテンツの一部に関連する他の通信コンテンツを受信し、前記重畳部は、前記レイアウト情報にしたがって、前記放送動画像と前記他の通信動画像とを重ねて出力してもよい。
これにより、放送以外の通信の状況が復旧した場合にも、レイアウト情報にしたがった動画像の重畳を適切に再開することができる。
また、前記放送受信装置は、さらに、前記放送コンテンツの続きの動画像を示す他の通信コンテンツの所在を示す所在情報を取得する所在情報取得部を備え、前記通信コンテンツ受信部は、前記放送コンテンツ受信部による前記放送コンテンツの受信が終了すると、前記所在情報によって示される所在から前記他の通信コンテンツを受信し、前記重畳部は、前記放送コンテンツ受信部による前記放送コンテンツの受信が終了した後、前記他の通信コンテンツを出力してもよい。
これにより、ユーザは、放送コンテンツの続きを、通信コンテンツで視聴することができ、ユーザに対する利便性を向上することができる。
また、前記放送受信装置は、さらに、前記放送動画像と同一の前記通信動画像を示す前記通信コンテンツの所在を示す所在情報を取得する所在情報取得部を備え、前記通信コンテンツ受信部は、前記放送コンテンツ受信部による前記放送コンテンツの受信が開始された後に、ユーザからの操作を受け付けると、前記所在情報によって示される所在から前記通信コンテンツを受信し、前記重畳部は、前記放送コンテンツの受信が開始されときに、前記放送動画像の出力を開始し、前記通信コンテンツの受信が開始されときに、前記レイアウト情報にしたがって、前記放送動画像と、前記通信コンテンツの先頭から示される前記通信動画像とを重ねて出力してもよい。
これにより、ユーザは、放送コンテンツの最初の部分を見逃した場合でも、その後、通信コンテンツの先頭から、その見逃した部分を見ることができ、ユーザに対する利便性を向上することができる。
また、前記重畳部は、前記放送動画像と前記通信動画像とを重ねる代わりに、前記通信動画像がディスプレイの表示サイズ全体に表示されるように、前記通信動画像を拡大して、前記通信動画像を出力してもよい。
これにより、見逃した部分をユーザに見やすく表示することができる。
また、前記重畳部は、前記放送動画像のうちの表示されている画像と、前記通信動画像のうちの表示されている画像とが等しくなるまで、早送り再生される前記通信コンテンツの通信動画像を出力し、前記放送動画像のうちの表示されている画像と、前記通信動画像のうちの表示されている画像とが等しくなると、通常再生される前記通信コンテンツの通信動画像を出力してもよい。
これにより、見逃した部分が早送り再生されて表示され、通信コンテンツ内の再生位置が、放送コンテンツ内の再生位置に到達すると、通信コンテンツが通常再生され、通信動画像と放送動画像とが重ねて表示される。したがって、放送コンテンツの最初の部分を見逃した場合でも、その見逃した部分をユーザに表示することができるとともに、通信動画像と放送動画像とを同期させてユーザに表示することができる。
なお、本発明は、このような放送受信装置として実現することができるだけでなく、集積回路、その放送受信装置が放送コンテンツを受信する方法、コンピュータにその方法で放送コンテンツを受信させるためのプログラム、または、そのプログラムを格納する記録媒体としても実現することができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図1は、本実施の形態における放送受信装置を備えたTVを有するシステムを示す図である。
図1は、本実施の形態における放送受信装置を備えたTVを有するシステムを示す図である。
このシステムは、放送と通信とを融合させた、いわゆる放送通信融合システムであって、放送コンテンツを放送する放送局101と、TV104と、通信コンテンツを配信するサーバ102と、インターネット回線103とを有する。放送局101は、放送波または放送信号に放送コンテンツを挿入して放送する。サーバ102は、インターネット回線103を介して通信コンテンツをTV104に送信する。
TV104は本実施の形態における放送受信装置とディスプレイとを備える。放送受信装置は、上述の放送コンテンツおよび通信コンテンツを受信する。そして、放送受信装置は、放送コンテンツによって示される動画像である放送動画像と、通信コンテンツによって示される動画像である通信動画像とを重ね合わせて、上述のディスプレイに出力する。これにより、ディスプレイには、放送動画像と通信動画像とが重ね合わされた画像が表示される。なお、本実施の形態では、放送受信装置がTV104に備えられているが、他の装置または機器に備えられていてもかまわない。また、放送動画像と通信動画像とが重ね合わされた画像を、以下、PiP画像という。
図2は、PiP画像の一例を示す図である。
例えば、放送コンテンツと通信コンテンツの同期再生によって野球中継のマルチアングル視聴が実現される。放送受信装置は、放送局101から放送される放送コンテンツ201と、サーバ102からインターネット回線103を介して配信される通信コンテンツ202とを受信する。そして、放送受信装置は、放送コンテンツ201の放送動画像と通信コンテンツ202の通信動画像とを重畳してディスプレイ203に出力している。放送コンテンツ201は、バッター側のアングルから撮影された動画像である放送動画像を示し、通信コンテンツは、ピッチャー側のアングルから撮影された動画像である放送動画像を示す。このように、放送コンテンツのみでは表現しきれない要素を通信コンテンツで補うことで、視聴者により一層臨場感を伝えることが可能となる。放送受信装置は、放送コンテンツ201と通信コンテンツ202の同期再生時に、放送コンテンツ201には含まれていない言語の音声や字幕、特典映像等を通信コンテンツとして取得して出力してもよい。
図3は、本実施の形態における放送受信装置の構成を示す図である。
本実施の形態における放送受信装置10Aは、放送される放送コンテンツを受信する放送受信装置であって、放送コンテンツ受信部11aと、通信コンテンツ受信部11bと、第1および第2のプレーン13a,13bと、レイアウト情報取得部12と、重畳部14とを備える。
放送コンテンツ受信部11aは放送コンテンツを受信する。通信コンテンツ受信部11bは、放送以外の通信を介して配信される、上述の放送コンテンツに関連する通信コンテンツを受信する。通信以外の通信は、例えばインターネット回線103を介した通信であり、以下、単に通信ともいう。
第1および第2のプレーン13a,13bは、放送コンテンツによって示される動画像である放送動画像のピクチャと、通信コンテンツによって示される動画像である通信動画像のピクチャとを保持するためのプレーンである。例えば、第1のプレーン13aは、放送動画像および通信動画像のうちの一方の動画像のピクチャを保持し、第2のプレーン13bは、他方の動画像のピクチャを保持する。なお、放送受信装置10Aは、第1および第2のプレーン13a,13bを含む1つのプレーンを備えていてもよい。
レイアウト情報取得部12は、放送動画像および通信動画像のレイアウトを示すレイアウト情報20を、放送受信装置10Aの外部から取得する。例えば、レイアウト情報20は、放送または通信によって配信されている。
重畳部14は、レイアウト情報20にしたがって、ピクチャごとに、第1および第2のプレーン13a,13bに保持されている放送動画像のピクチャと通信動画像のピクチャとを重ねて出力する。例えば、重畳部14は、放送動画像のピクチャおよび通信動画像のピクチャをそれぞれ保持するためのプレーンを、第1のプレーン13aと第2のプレーン13bとで切り替えることによって、通信動画像を放送動画像の前面または背面に配置する。これにより、例えば、第1のプレーン13aに保持されるピクチャが背面に配置され、第2のプレーン13bに保持されるピクチャが前面に配置されるように、それぞれのプレーンのピクチャが重ねられる順序が固定されている場合であっても、各プレーンに格納されるピクチャの種類が切り替えられるため、放送動画像のピクチャと通信動画像のピクチャとが重ねられる順序を適切に変更することができる。
なお、放送動画像のピクチャを保持するためのプレーンが第1のプレーン13aに固定され、通信動画像のピクチャを保持するためのプレーンが第2のプレーン13bに固定されていてもよい。この場合には、重畳部14は、第1および第2のプレーン13a,13bに保持されている2つのピクチャを、レイアウト情報20にしたがった順序で重ね合わせる。
このように、本実施の形態における放送受信装置10Aでは、レイアウト情報20により示されるレイアウトにしたがって、放送動画像と通信動画像とが重ねられて出力されるため、そのレイアウト情報20に応じて、放送コンテンツの動画像と通信コンテンツの動画像とのレイアウトを変更することができる。つまり、放送局101がレイアウト情報20を放送する場合には、放送局101側でレイアウトを変更することができる。
図4は、レイアウト情報20の一例を示す図である。
レイアウト情報20は、例えば図4に示すように、放送コンテンツの放送動画像の表示サイズおよび表示位置を示すとともに、通信コンテンツの通信動画像の表示サイズおよび表示位置を示す。ここで、レイアウト情報20は、放送動画像および通信動画像のうちの一方の動画像が、他方の動画像よりも小さく、その他方の動画像の上に重ねられる場合には、他方の動画像のうちの特徴部分を除く位置に一方の動画像が重ねられるように、放送動画像の表示サイズおよび表示位置と、通信動画像の表示サイズおよび表示位置とを示す。
この場合、重畳部14は、レイアウト情報20によって示される、放送動画像および通信動画像のそれぞれの表示サイズで、レイアウト情報20によって示される、放送動画像および通信動画像のそれぞれの表示位置に、放送動画像および放送動画像を配置する。
このように、本実施の形態における放送受信装置10Aでは、放送動画像および通信動画像のレイアウトを、表示サイズおよび表示位置によって適切に変更することができる。
図5は、本実施の形態における放送受信装置10Aの動作を示すフローチャートである。
まず、放送受信装置10Aは、放送以外の通信を介して配信される、放送コンテンツに関連する通信コンテンツを受信する(ステップS10)。次に、放送受信装置10Aは、放送コンテンツを受信する(ステップS11)。そして、放送受信装置10Aは、放送コンテンツによって示される動画像である放送動画像のピクチャと、通信コンテンツによって示される動画像である通信動画像のピクチャとを第1および第2のプレーン13a,1bに保持させる(ステップS12)。
次に、放送受信装置10Aは、放送動画像および通信動画像のレイアウトを示すレイアウト情報20を、放送受信装置10Aの外部から取得する(ステップS13)。そして、放送受信装置10Aは、そのレイアウト情報20にしたがって、ピクチャごとに、第1および第2のプレーン13a,13bに保持されている放送動画像のピクチャと通信動画像のピクチャとを重ねて出力する(ステップS14)。
ここで、重畳部14は、通信コンテンツが通信コンテンツ受信部11bによって受信されない場合には、通信動画像を重ねることなく、放送動画像を出力してもよい。これにより、動画像の無理な重畳がないため、ユーザの視聴にかかる負担を軽減することができる。
また、通信動画像がディスプレイ203の表示サイズ全体に表示され、放送動画像がディスプレイ203の表示サイズよりも小さいサイズで通信動画像に重ねられている場合がある。このような場合に、重畳部14は、通信コンテンツが通信コンテンツ受信部11bによって受信されていない状態になると、放送動画像の表示サイズを、ディスプレイ203の表示サイズまで拡大し、通信コンテンツが通信コンテンツ受信部11bによって受信されている状態になると、放送動画像の表示サイズを、ディスプレイ203の表示サイズよりも小さいサイズに縮小してもよい。これにより、インターネット回線103を介した通信などの放送以外の通信の通信状況が変動する場合であっても、動画像をユーザに見やすく表示することができる。
また、放送コンテンツ受信部11aによって放送コンテンツが受信されている際に、放送以外の通信の状況が、通信コンテンツが受信可能な受信可能状況から、受信不可能な受信不可状況になり、再び受信可能状況になるときがある。このとき、通信コンテンツ受信部11bは、再び受信可能状況になったとき以降に放送コンテンツ受信部11aによって受信される放送コンテンツの一部に関連する他の通信コンテンツを受信してもよい。この場合、重畳部14は、レイアウト情報20にしたがって、放送動画像と他の通信動画像とを重ねて出力する。これにより、放送以外の通信の状況が復旧した場合にも、レイアウト情報20にしたがった動画像の重畳を適切に再開することができる。
(変形例1)
ここで、本実施の形態における第1の変形例について説明する。本変形例に係る放送受信装置では、ユーザによる指示によってレイアウトを変更する点に特徴がある。
ここで、本実施の形態における第1の変形例について説明する。本変形例に係る放送受信装置では、ユーザによる指示によってレイアウトを変更する点に特徴がある。
図6は、本変形例に係るレイアウト情報を示す図である。
本変形例に係るレイアウト情報20aは、第1のレイアウトと第2のレイアウトとを示す。例えば、第1のレイアウトは、放送コンテンツの放送動画像をメインの動画像とし、通信コンテンツの通信動画像をサブの動画像とするためのレイアウトである。逆に、第2のレイアウトは、放送コンテンツの放送動画像をサブの動画像とし、通信コンテンツの通信動画像をメインの動画像とするためのレイアウトである。
図7は、本変形例に係る放送受信装置の構成を示す図である。
本変形例に係る放送受信装置10Bは、放送受信装置10Aが備える構成要素を備えるとともに、さらに、レイアウトの指示を受け付ける指示受付部15を備える。重畳部14は、指示受付部15によって第1のレイアウトの指示が受け付けられた場合には、第1のレイアウトにしたがって、通信動画像を放送動画像に重ねて出力し、指示受付部15によって第2のレイアウトの指示が受け付けられた場合には、第2のレイアウトにしたがって、放送動画像を通信動画像に重ねて出力する。
このように、本変形例に係る放送受信装置10Bでは、ユーザからのレイアウトの指示が受け付けられる場合には、レイアウト情報20aにより示される範囲でユーザがそのレイアウトを変更することができる。
(変形例2)
ここで、本実施の形態における第2の変形例について説明する。本変形例に係る放送受信装置では、放送コンテンツと通信コンテンツとを同期させる点に特徴がある。
ここで、本実施の形態における第2の変形例について説明する。本変形例に係る放送受信装置では、放送コンテンツと通信コンテンツとを同期させる点に特徴がある。
図8は、本変形例に係る放送受信装置の構成を示す図である。
本変形例に係る放送受信装置10Cは、放送受信装置10Aが備える構成要素を備えるとともに、さらに、同期情報21を放送受信装置10Cの外部から取得する同期情報取得部16を備える。そして、重畳部14は、その同期情報21にしたがって、通信動画像と放送動画像とを重ねて出力することによって、通信動画像を放送動画像に同期させる。
このように、本変形例に係る放送受信装置10Cでは、通信動画像と放送動画像とを適切に重畳させた状態で同期させることができ、ユーザに対して見やすい映像を映し出すことができる。
図9は、本変形例に係る同期情報21の一例を示す図である。
同期情報21は、通信コンテンツ内の再生位置と、その再生位置のデータが再生される再生時刻とを関連付けて示すとともに、放送コンテンツのタイプを放送タイプとして示す。さらに、同期情報21は、静止画を特定するための静止画特定情報を含む。
重畳部14は、同期情報21によって示される再生時刻に、通信動画像のうち、その再生時刻に関連付けて示される再生位置にあるピクチャと、放送動画像のピクチャとを重ねて出力する。これにより、通信動画像に含まれる複数のピクチャのうち、放送動画像のピクチャに対して適切なピクチャと、その放送動画像のピクチャとを重畳することができる。
また、重畳部14は、放送タイプによって、放送コンテンツがライブ放送されるコンテンツであるか否かを判別し、ライブ放送されるコンテンツであると判別すると、放送動画像と通信動画像との重ね合わせを禁止する。
ここで、通信(例えばインターネット回線103を介した通信)の状況が悪くなると、通信コンテンツの受信は遅れる。その結果、放送コンテンツと通信コンテンツとを同期させることができなくなる場合がある。したがって、通信状況による影響を受けた場合でもこれらのコンテンツを適切に同期させるためには、通信コンテンツの受信を、放送コンテンツの受信よりも早めに開始しておく必要がある。しかし、放送コンテンツがライブ放送される場合には、通信コンテンツの受信を、放送コンテンツの受信よりも早めに開始することができない。そこで、本変形例に係る放送受信装置10Cでは、放送コンテンツがライブ放送される場合には、放送動画像と通信動画像との重ね合わせを禁止することによって、例えば放送動画像のみをディスプレイに表示させることができ、非同期の動画像が表示されることによってユーザの視聴に負担がかかるのを防ぐことができる。
また、重畳部14は、静止画特定情報によって特定される静止画と、放送動画像および通信動画像とを重ねて出力する。これにより、放送動画像および通信動画像に対して適切な静止画もそれらの動画像に重畳して表示させることができる。
(変形例3)
ここで、本実施の形態における第3の変形例について説明する。本変形例に係る放送受信装置では、通信の状況に応じた処理を行う点に特徴がある。
ここで、本実施の形態における第3の変形例について説明する。本変形例に係る放送受信装置では、通信の状況に応じた処理を行う点に特徴がある。
図10は、本変形例に係る放送受信装置の構成を示す図である。
本変形例に係る放送受信装置10Dは、放送受信装置10Aが備える構成要素を備えるとともに、さらに、放送以外の通信の状況を示す通信状況情報22を取得する通信状況取得部17を備える。
本変形例に係る通信コンテンツ受信部11bは、放送コンテンツに関連する複数の通信コンテンツのうち、その通信状況情報22によって示される通信の状況に応じた品質を有する通信コンテンツを受信する。
ここで、複数の通信コンテンツのそれぞれのビットレート、または、複数の通信コンテンツのそれぞれの解像度は互いに異なっている。そこで、通信コンテンツ受信部11bは、その複数の通信コンテンツのうち、通信状況情報22によって示される通信の状況に応じたビットレートまたは解像度を有する通信コンテンツを受信する。
これにより、そのときの通信状況に応じて、適切な通信コンテンツを受信することができ、通信動画像をユーザに見やすく表示することができる。
また、重畳部14は、通信状況情報22によって示される通信の状況である指標値が所定の値よりも低いまたは高い場合には、通信動画像を重ねることなく、放送動画像を出力してもよい。
例えば、通信の状況である指標値は、使用可能なビットレートまたはパケットロスの頻度などであり、これらの指標値が所定の値よりも低いまたは高い場合には、通信コンテンツが通信コンテンツ受信部11bによって受信されない可能性が高まる。したがって、本変形例に係る放送受信装置10Dでは、上述のような場合には、通信動画像が重畳されないため、動画像の無理な重畳を防ぎ、ユーザの視聴にかかる負担を軽減することができる。
(変形例4)
ここで、本実施の形態における第4の変形例について説明する。本変形例に係る放送受信装置では、放送コンテンツの続き、または、放送コンテンツのユーザによって見逃された動画像を、通信コンテンツによって補う点に特徴がある。
ここで、本実施の形態における第4の変形例について説明する。本変形例に係る放送受信装置では、放送コンテンツの続き、または、放送コンテンツのユーザによって見逃された動画像を、通信コンテンツによって補う点に特徴がある。
図11は、本変形例に係る放送受信装置の構成を示す図である。
本変形例に係る放送受信装置10Eは、放送受信装置10Aが備える構成要素を備えるとともに、さらに、放送コンテンツの続きの動画像を示す他の通信コンテンツの所在を示す所在情報23を取得する所在情報取得部18を備える。
本変形例に係る通信コンテンツ受信部11bは、放送コンテンツ受信部11aによる放送コンテンツの受信が終了すると、所在情報23によって示される所在から他の通信コンテンツを受信する。また、本変形例に係る重畳部14は、放送コンテンツ受信部11aによる放送コンテンツの受信が終了した後、他の通信コンテンツを出力する。
これにより、ユーザは、放送コンテンツの続きを、通信コンテンツで視聴することができ、ユーザに対する利便性を向上することができる。
ここで、所在情報取得部18は、放送動画像と同一の通信動画像を示す通信コンテンツの所在を示す所在情報23を取得してもよい。
この場合、通信コンテンツ受信部11bは、放送コンテンツ受信部11aによる放送コンテンツの受信が開始された後に、ユーザからの操作を受け付けると、所在情報23によって示される所在から通信コンテンツを受信する。そして、重畳部14は、放送コンテンツの受信が開始されときに、放送動画像の出力を開始し、通信コンテンツの受信が開始されときに、レイアウト情報20にしたがって、放送動画像と、通信コンテンツの先頭から示される通信動画像とを重ねて出力する。
これにより、ユーザは、放送コンテンツの最初の部分を見逃した場合でも、その後、通信コンテンツの先頭から、その見逃した部分を見ることができ、ユーザに対する利便性を向上することができる。
また、重畳部14は、放送動画像と通信動画像とを重ねる代わりに、通信動画像がディスプレイ203の表示サイズ全体に表示されるように、通信動画像を拡大して、通信動画像を出力してもよい。これにより、見逃した部分をユーザに見やすく表示することができる。
また、重畳部14は、放送動画像のうちの表示されている画像と、通信動画像のうちの表示されている画像とが等しくなるまで、早送り再生される通信コンテンツの通信動画像を出力してもよい。さらに、重畳部14は、放送動画像のうちの表示されている画像と、通信動画像のうちの表示されている画像とが等しくなると、通常再生される通信コンテンツの通信動画像を出力してもよい。
これにより、見逃した部分が早送り再生されて表示され、通信コンテンツ内の再生位置が、放送コンテンツ内の再生位置に到達すると、通信コンテンツが通常再生され、通信動画像と放送動画像とが重ねて表示される。したがって、放送コンテンツの最初の部分を見逃した場合でも、その見逃した部分をユーザに表示することができるとともに、通信動画像と放送動画像とを同期させてユーザに表示することができる。
なお、所在情報23は同期情報21に含まれていてもよい。
(変形例5)
ここで、本実施の形態における第5の変形例について説明する。本変形例に係る放送受信装置では、動画像の3D表示を行う点に特徴がある。
ここで、本実施の形態における第5の変形例について説明する。本変形例に係る放送受信装置では、動画像の3D表示を行う点に特徴がある。
本変形例では、放送動画像および通信動画像は、それぞれが互いに異なる目に視認されることによって立体視される、複数のピクチャからなる動画像である。
この場合、本変形例に係る重畳部14は、放送動画像に含まれるピクチャである放送ピクチャと、通信動画像に含まれるピクチャであって、放送ピクチャと対になって立体視される通信ピクチャとをそれぞれ重ねることなく、単位時間内に連続して出力する。また、通信ピクチャが通信コンテンツ受信部11bによって受信されなかった場合には、重畳部14は、放送ピクチャを単位時間内に2回連続して出力する。
図12Aは、重畳部14から出力されるピクチャを示す図である。
この図12Aに示すように、重畳部14は、放送ピクチャと、放送ピクチャと対になって立体視される通信ピクチャとを単位時間内に連続して出力する。また、通信ピクチャが受信されなかった場合には、重畳部14は、放送ピクチャを単位時間内に2回連続して出力する。
これにより、放送動画像と通信動画像とによって、動画像を3Dで表示することができる。さらに、通信コンテンツが受信されないような場合には、放送ピクチャが2回連続して出力されるため、動画像の表示を3D表示から2D表示に適切に切り替えることができる。その結果、不適切な動画像が表示されてしまうのを防ぐことができる。
なお、本変形例に係る放送受信装置は、レイアウト情報取得部12および重畳部14を備えていなくてもよい。つまり、この放送受信装置は、レイアウト情報20にしたがって、第1および第2のプレーン13a,13bに保持されている放送ピクチャと通信ピクチャとを重ねて出力する機能を備えずに、少なくとも、それらのピクチャを用いた動画像の3D表示機能を備えていればよい。
図12Bは、本変形例に係る放送受信装置の他の構成を示す図である。
この放送受信装置10Fは、放送ピクチャと通信ピクチャとを重ねて出力する機能を持たない装置であって、放送コンテンツ受信部11aと、通信コンテンツ受信部11bと、第1および第2のプレーン13a,13bと、出力部14Fとを備える。
具体的には、この放送受信装置10Fは、放送される放送コンテンツを受信する放送受信装置であって、放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信する通信コンテンツ受信部11bと、前記放送コンテンツを受信する放送コンテンツ受信部11aと、前記放送コンテンツによって示される動画像である放送動画像のピクチャ(放送ピクチャ)と、前記通信コンテンツによって示される動画像である通信動画像のピクチャ(通信ピクチャ)とを保持するための第1および第2のプレーン13a,13bと、前記第1および第2のプレーン13a,13bに保持されている放送ピクチャと通信ピクチャとを出力する出力部14Fとを備える。
前記出力部14Fは、前記放送動画像および通信動画像が、それぞれが互いに異なる目に視認されることによって立体視される、複数のピクチャからなる動画像である場合には、前記放送動画像に含まれるピクチャである放送ピクチャと、前記通信動画像に含まれるピクチャであって、前記放送ピクチャと対になって立体視される通信ピクチャとを交互に連続して出力し、前記通信ピクチャが前記通信コンテンツ受信部11bによって受信されなかった場合には、前記放送ピクチャを2回連続して出力する。
このような放送受信装置10Fであっても、通信コンテンツが受信されないような場合には、放送ピクチャが2回連続して出力されるため、動画像の表示を3D表示から2D表示に適切に切り替えることができる。その結果、不適切な動画像が表示されてしまうのを防ぐことができる。
(実施の形態2)
本実施の形態では、放送受信装置の詳細について説明する。
本実施の形態では、放送受信装置の詳細について説明する。
図13は、本実施の形態における放送受信装置の内部構成を示すブロック図である。
図13に示すように、放送受信装置104Aは、実施の形態1の放送受信装置10A〜10Eの何れかに相当し、チューナ301、ネットワークインターフェース302、バッファ303、バッファ304、デマルチプレクサ305、デマルチプレクサ306、イメージメモリ307、イメージデコーダ308、ビデオデコーダ309、ビデオデコーダ310、オーディオデコーダ311、同期制御器312、イメージプレーン313、ビデオプレーン314、ビデオプレーン315、スピーカ316、加算器317、シナリオメモリ318、および制御部322を備える。シナリオメモリ318は、カレント番組情報319、画面レイアウト情報320および同期コンテンツ情報321を格納するためのメモリである。制御部322は、サービスマネージャ323、チューナライブラリ324、通信ライブラリ325、AV再生ライブラリ326、レンダリングライブラリ327、およびリモコンマネージャ328から構成される。
チューナ301は、放送波を受信し、放送コンテンツに対するアクセスを実行する。これにより、チューナ301は放送コンテンツを受信する。
ネットワークインターフェース302は、インターネット回線103に接続して通信コンテンツを受信する。
バッファ303は、チューナ301によって受信された放送コンテンツを格納するためのメモリである。
バッファ304は、ネットワークインターフェース302によって受信された通信コンテンツを格納するためのメモリである。
デマルチプレクサ305は、チューナ301によって受信された放送コンテンツのうちのトランスポートストリームに対して多重分離を行い、放送番組に関する情報と、GOP(Group Of Picture)を構成するビデオフレームと、オーディオフレームと、静止画または字幕などのイメージデータとを得る。さらに、デマルチプレクサ305は、放送番組に関する情報をシナリオメモリ318に格納し、ビデオフレームをビデオデコーダ310に出力し、オーディオフレームをオーディオデコーダ311に出力する。さらに、デマルチプレクサ305は、イメージデータをイメージメモリ307に格納する。デマルチプレクサ305による多重分離は、TS(Transport Stream)パケットをPES(Packetized Elementary Stream)パケットに変換するという変換処理を含む。
デマルチプレクサ306は、ネットワークインターフェース302を介して受信された通信コンテンツのうちのトランスポートストリームに対して多重分離を行い、GOPを構成するビデオフレームと、オーディオフレームと、静止画または字幕などのイメージデータとを得る。さらに、デマルチプレクサ306は、ビデオフレームをビデオデコーダ309に出力し、オーディオフレームをオーディオデコーダ311に出力し、静止画または字幕などのイメージデータをイメージメモリ307に格納する。デマルチプレクサ306による多重分離は、TSパケットをPESパケットに変換するという変換処理を含む。
イメージメモリ307は、デマルチプレクサ305、デマルチプレクサ306またはバッファ304から読み出された静止画または字幕などのイメージデータを格納するためのバッファである。
イメージデコーダ308は、イメージメモリ307に格納されたイメージデータをデコードし、復号されたイメージデータ(以下、イメージという)をイメージプレーン313に書き込む。イメージデータのデコードによって、静止画や字幕がディスプレイ203上に現れることになる。
ビデオデコーダ309は、デマルチプレクサ306から出力されたビデオフレームを復号し、非圧縮形式のピクチャをビデオプレーン314に書き込む。
ビデオデコーダ310は、デマルチプレクサ305から出力されたビデオフレームを復号し、非圧縮形式のピクチャをビデオプレーン315に書き込む。
オーディオデコーダ311は、デマルチプレクサ305またはデマルチプレクサ306から出力されたオーディオフレームを復号し、非圧縮形式のオーディオデータを出力する。
同期制御器312は、デマルチプレクサ305またはデマルチプレクサ306から出力された、復号再生処理の時刻管理のためのタイムスタンプを利用して、イメージ、ビデオ(ピクチャ)、およびオーディオデータが同期して出力されるように、イメージデコーダ308、ビデオデコーダ309、ビデオデコーダ310およびオーディオデコーダ311を制御する。
イメージプレーン313は、非圧縮形式のイメージを格納しておくためのメモリである。
ビデオプレーン314およびビデオプレーン315は、非圧縮形式のピクチャを格納しておくためのメモリである。
スピーカ316は、非圧縮形式のオーディオデータである音声データを出力する。
加算器317は、ビデオプレーン315に格納された非圧縮形式のピクチャに、ビデオプレーン314に格納された非圧縮形式のピクチャと、イメージプレーン313に格納されたイメージとを重ねて出力する。
シナリオメモリ318は、カレント番組情報319、画面レイアウト情報320、および同期コンテンツ情報321を格納しておくためのメモリである。
カレント番組情報319は、バッファ303に記録されている複数の番組情報のうち、現在再生中の番組に関するものである。
画面レイアウト情報320は、実施の形態1のレイアウト情報20,20aに相当し、バッファ303またはバッファ304に格納されている画面レイアウト情報のうち、現在処理対象になっているものである。
同期コンテンツ情報321は、実施の形態1の同期情報21に相当し、バッファ303またはバッファ304に格納されている同期コンテンツ情報のうち、現在処理対象になっているものをいう。
制御部322は、ROM、RAM、およびCPUからなるマイコンシステムであり、ROMには放送受信装置104Aを制御するプログラムが記録されている。ROM内のプログラムがCPUに読み込まれ、プログラムとハードウェア資源とが協動することにより、サービスマネージャ323、チューナライブラリ324、通信ライブラリ325、AV再生ライブラリ326、レンダリングライブラリ327、およびリモコンマネージャ328の機能が実現される。
サービスマネージャ323は、シナリオメモリ318からカレント番組情報319を取得し、チューナライブラリ324を利用して周波数を含むチューニング情報を取得する。また、サービスマネージャ323は、シナリオメモリ318から画面レイアウト情報320および同期コンテンツ情報321を取得する。さらに、サービスマネージャ323は、通信ライブラリ325を利用して、通信コンテンツ(ストリームデータ等)をネットワークインターフェース302に取得させる。さらに、サービスマネージャ323は、AV再生ライブラリ326およびレンダリングライブラリ327を利用して、デマルチプレクサ305、デマルチプレクサ306、同期制御器312およびイメージプレーン313を制御することにより放送通信融合サービスを実行する。
チューナライブラリ324は、チューナ301から周波数等のチューニング情報を取得する。
通信ライブラリ325は、インターネット上に公開された放送追加コンテンツのダウンロードに用いられる。放送追加コンテンツとは、オリジナルの放送にないコンテンツで、例えば追加のアングル映像、副音声、字幕、特典映像、またはアプリケーションプログラムなどである。サービスマネージャ323は、通信ライブラリ325を制御することによって、インターネット上に公開されたその放送追加コンテンツをバッファ304やローカルストレージ等にダウンロードすることができる。
AV再生ライブラリ326は、サービスマネージャ323からの関数呼び出しに応じて、AV再生機能を実行する。AV再生機能とは、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切り替え、副映像切り替え、またはアングル切り替えといった処理である。
レンダリングライブラリ327は、イメージデコーダ308を利用してイメージメモリ307に格納されたイメージデータをデコードしてイメージプレーン313に書き込む。また、レンダリングライブラリ327は、文字または図形等をイメージプレーン313に書き込んだりする。
リモコンマネージャ328は、放送受信装置104Aと通信するリモコンからの入力信号をサービスマネージャ323に伝える。
なお、本実施の形態における放送受信装置104Aで利用される画面レイアウト情報320または同期コンテンツ情報321は、インターネットを介して、つまりインターネット回線103を介して取得されてもよい。その場合、放送波の中に通信コンテンツの所在を示す情報を含ませておいてもよいし、放送局101のWebサイトにその情報を配置しておいてもよい。
また、本実施の形態では、チューナ301、バッファ303、デマルチプレクサ305、およびビデオデコーダ310が実施の形態1の放送コンテンツ受信部11aに相当する。また、ネットワークインターフェース302、バッファ304、デマルチプレクサ306、およびビデオデコーダ309が実施の形態1の通信コンテンツ受信部11bに相当する。さらに、チューナ301およびバッファ303が実施の形態1のレイアウト情報取得部12、同期情報取得部16および所在情報取得部18に相当する。さらに、ビデオプレーン314,315がそれぞれ実施の形態1の第1および第2のプレーン13a,13bに相当し、同期制御器312および加算器317が実施の形態1の重畳部14に相当する。また、通信ライブラリ325が実施の形態1の通信状況取得部17に相当する。
図14は、番組一覧情報の一例を示す図である。
番組一覧情報401は、バッファ303に格納されている上述の複数の番組情報から構成される。この番組一覧情報401は、表形式に構成されており、チャンネルの識別子、チャンネル名、およびプログラム番号を含んでいる。プログラム番号とは、MPEG2規格で規定されているPMT(Program Map Table)を識別するための番号である。
また、バッファ303にはプログラムサービス情報も格納される。このプログラムサービス情報は、MPEG2規格で規定されているPAT(Program Association Table)402およびPMT(Program Map Table)403を有する。PAT402は、放送番組ごとに、プログラム番号とパケットIDを示し、パケットIDはPMT403を取得するために用いられる。PMT403は、PAT402で規定されたパケットIDのパケットに格納され送信されている。PMT403は、ストリーム種別、パケットID、および補足情報から構成されている。オーディオ、ビデオ、およびデータはそれぞれ、エレメンタリーストリームと呼ばれ、同一のパケットIDで送信される複数のパケットからなる。データの補足情報は、例えば、MPEG規格書ISO/IEC13818−6に記述されたDSMCCという方式を示す。ここではDSMCCの詳細な説明は省略する。DSMCC方式では、MPEG2トランスポートストリームのパケットの中に、コンピュータで使用されているディレクトリやファイルで構成されるファイルシステムをエンコードする方法が規定されている。
図15は、画面レイアウト情報および同期コンテンツ情報の一例を示す図である。
画面レイアウト情報320は、表示タイプごとに、放送コンテンツの位置(表示位置)およびサイズ(表示サイズ)と、その放送コンテンツと同期再生される通信コンテンツの位置(表示位置)およびサイズ(表示サイズ)とを示す。表示タイプはメインまたはサブである。放送コンテンツおよび通信コンテンツのうちの一方がメインとなり、放送コンテンツおよび通信コンテンツのうちの他方がサブとなる。例えば、メインは、動画像が大きく背面に表示されるコンテンツであり、サブは、動画像が小さく前面に表示されるコンテンツである。なお、本実施の形態では、放送コンテンツがメインとなり、通信コンテンツがサブとなる第1のレイアウトと、放送コンテンツがサブとなり、通信コンテンツがメインとなる第2のレイアウトとが、画面レイアウト情報320に示されているが、第1および第2のレイアウトのうちの一方だけが画面レイアウト情報320に示されていてもよい。また、本実施の形態における放送受信装置104Aは、第1および第2のレイアウトが示されている場合には、デフォルトで第1のレイアウトを選択してもよい。
同期コンテンツ情報321は、通信コンテンツを識別するためのコンテンツID、その通信コンテンツの所在を示すURL、コーデックの種類、解像度、ビットレート、開始時刻、開始PTS(Program Time Stamp)、終了時刻、および終了PTSを示す。この同期コンテンツ情報321は例えば放送コンテンツに付随して放送される。したがって、コンテンツIDは、放送コンテンツと通信コンテンツとの紐付けを行う。放送受信装置104Aは、URLによって通信コンテンツの取得先を特定し、コーデックの種類、解像度、およびビットレートによって通信コンテンツの属性を把握する。さらに、放送受信装置104Aは、開始時刻、開始PTS、終了時刻、および終了PTSによって、通信コンテンツの再生期間および再生時刻と、通信コンテンツを構成するストリーム内のデータの位置との関係を把握する。画面レイアウト情報320または同期コンテンツ情報321は、放送波に重畳(例えば、DSMCCのファイルシステム内への埋め込み)されていてもよいし、サーバ102に配置されていてもよい。これらの情報がサーバ102に配置される場合には、そのサーバ102へリンクするためのリンク情報のみを放送波に重畳しておいてもよい。画面レイアウト情報320によって示される位置の座標系は、絶対座標系に限らず、相対座標系であってもよい。同期コンテンツ情報321は、複数のコーデックの種類、複数の解像度、複数のビットレートを示していてもよい。つまり、同期コンテンツ情報321は、通信コンテンツごとに、コンテンツID、URL、およびコーデックの種類などを示していてもよい。
図16は、放送受信装置104Aが放送コンテンツと通信コンテンツとを同期させて再生する処理を示すフローチャートである。
まず、ある放送番組である放送コンテンツがユーザに視聴されているときに、ユーザによるリモコン操作によって、放送受信装置104Aは、放送コンテンツと通信コンテンツとの同期再生の要求を受け付ける(ステップS601)。これにより、リモコンマネージャ328は、サービスマネージャ323へ、同期再生の要求を示すリモコンキー情報を送る。サービスマネージャ323は、そのリモコンキー情報を受けると、通信ライブラリ325を利用して通信コンテンツの取得、つまり通信コンテンツ取得処理を開始する(ステップS602)。通信コンテンツ取得処理に関する詳細は後述する。
放送コンテンツと通信コンテンツとの同期再生に十分なデータ量の通信コンテンツが取得されると、サービスマネージャ323は、AV再生ライブラリ326に対して、画面レイアウト情報320によって示される通信コンテンツの表示サイズを指定し、通信コンテンツの再生を要求する。AV再生ライブラリ326は、同期制御器312を利用して、放送コンテンツに含まれるタイムスタンプ(PTS)と通信コンテンツに含まれるタイムスタンプ(PTS)を整合させ、夫々のコンテンツに含まれるピクチャをビデオプレーン314,315のそれぞれに書き込ませ、それらのピクチャを重畳して出力させる(ステップS603)。このようにして、放送コンテンツと通信コンテンツの同期再生が開始される。
放送コンテンツと通信コンテンツの同期再生が開始されると、サービスマネージャ323は、現時点が、放送コンテンツである放送番組の終了時刻かどうか監視する(ステップS604)。ステップS604で、現時点が放送コンテンツの終了時刻でないと判別されると(ステップS604のNo)、サービスマネージャ323は、ユーザによってチャンネルの切り替え(選局)が行われたかを監視する(ステップS605)。ステップS605で、切り替えが行われていないと判別されると(ステップS605No)サービスマネージャ323は、さらに、画面レイアウト情報320および同期コンテンツ情報321のうちの少なくとも1つが更新されたかどうかを確認する(ステップS606)。ステップS606で、画面レイアウト情報320および同期コンテンツ情報321が更新されていないと判別されると(ステップS606のNo)、サービスマネージャ323は、放送コンテンツと通信コンテンツのそれぞれのビデオデータが同期再生するのに十分存在しているかどうかを確認する(ステップS607)。ステップS607で、放送コンテンツと通信コンテンツのそれぞれのビデオデータが同期再生するのに十分存在していると判別されると(ステップS607のYes)、サービスマネージャ323は、ステップS604から処理を繰り返す。
一方、ステップS606で、画面レイアウト情報320および同期コンテンツ情報321のうちの少なくとも1つが更新されていると判別されると(ステップS606のYes)、または、ステップS607で、放送コンテンツと通信コンテンツのそれぞれのビデオデータが同期再生するのに十分存在していないと判別されると(ステップS607のNo)、サービスマネージャ323は、通信コンテンツと同期再生されていた放送コンテンツの番組情報をメモリに保持する(ステップS608)。さらに、サービスマネージャ323は、その後、通信状況が正常かどうかを確認する(ステップS609)。ステップS609で、通信状況が正常であると判別されると(ステップS609のYes)、サービスマネージャ323は、ステップS602の通信コンテンツ取得処理を行い、ステップS604から処理を繰り返す。一方、ステップS609で、通信状況が異常であると判別されると、サービスマネージャ323は、ただちに放送コンテンツと通信コンテンツの同期再生を停止する(ステップS610)。あるいは、サービスマネージャ323は、一旦、通信コンテンツがビデオプレーン314から出力されないようにしておき、通信状況が正常に復旧した場合に、再度通信コンテンツを取得して、通信コンテンツがビデオプレーン314から出力されるようにしてもよい。
なお、ステップS602において取得される通信コンテンツと、ステップS603で受信される放送コンテンツとのうち、何れか一方のコンテンツにのみオーディオフレームまたはイメージデータが存在する場合は、放送受信装置104Aは、そのオーディオフレームまたはイメージデータを復号して出力する。放送コンテンツと通信コンテンツの両方にオーディオデータまたはイメージデータが存在する場合は、放送受信装置104Aは、ステップS603における同期再生時に、何れか一方のコンテンツを処理対象コンテンツとして認識する。そして、放送受信装置104Aは、その処理対象コンテンツに含まれるオーディオフレームまたはイメージデータを復号して出力する。例えば、放送受信装置104Aは、予め設定されている内容(例えば、言語など)に基づいて、その内容に応じたコンテンツを処理対象コンテンツとして認識する。または、放送受信装置104Aは、同期再生に連動してイメージを出力するか否かを示す制御情報に基づいて、処理対象コンテンツを認識してもよく、処理対象コンテンツが何れのコンテンツであるかを示す情報に基づいて、処理対象コンテンツを認識してもよい。または、放送受信装置104Aは、通信コンテンツおよび放送コンテンツのそれぞれによって示される動画像の表示サイズに応じて、処理対象コンテンツを認識してもよい。
また、ステップS604で、現時点が放送コンテンツの終了時刻であると判別されると(ステップS604のYes)、または、ステップS609で、通信状況が異常であると判別されると(ステップS609のNo)、サービスマネージャ323は、通信コンテンツの再生を停止する(ステップS610)。
また、図16に示すフローチャートでは、チャンネルが切り替えられたときや、放送コンテンツが終了したときに、TV104の放送受信装置104Aは自動的に通信コンテンツを停止する。しかし、このようなときでも、TV104は、別の放送番組である放送コンテンツが引き続き再生され、その別の放送番組に対応する通信コンテンツが存在する場合には、放送コンテンツと通信コンテンツの同期再生を継続してもよい。通信コンテンツの視聴に課金のための認証等が必要になる場合は、一旦通信コンテンツの再生を停止して、ユーザ認証完了後に通信コンテンツの再生を行ってもよい。
図17は、図16におけるステップS602の通信コンテンツ取得処理の詳細を示すフローチャートである。
まず、TV104の放送受信装置104Aは、放送波に重畳された同期コンテンツ情報321を取得し(ステップS701)、さらに、画面レイアウト情報320を取得する(ステップS702)。次に、放送受信装置104Aは、現在、放送コンテンツと通信コンテンツとが同期再生されているかどうかを確認する(ステップS703)。ステップS703で、放送コンテンツと通信コンテンツとが同期再生されていないと判別されると(ステップS703のNo)、放送受信装置104Aは、TV104のディスプレイ203の解像度および表示サイズなどを示す表示画面情報を取得する(ステップS704)。ここで、ステップS701で取得された同期コンテンツ情報321には、複数の通信コンテンツのそれぞれに対して、ビットレートなどのビデオ情報が示されている。そこで、放送受信装置104Aは、ステップS701で取得された同期コンテンツ情報321、ステップS702で取得された画面レイアウト情報320、およびステップS704で取得された表示画面情報に基づいて、最も適切な通信コンテンツを取得する(ステップS705)。例えば、放送受信装置104Aは、ディスプレイ203の表示サイズに合わせた、同期コンテンツ情報321に記載の必要最低限の品位(ビデオ情報)を持つ通信コンテンツを取得する。一方、ステップS703で、放送コンテンツと通信コンテンツとが同期再生されていると判別されると(ステップS703のYes)、放送受信装置104Aは、同期コンテンツ情報321に記載の高品位の通信コンテンツを取得する(ステップS705)。ただし、放送受信装置104Aは、負荷や通信状況に応じて、ステップS705で取得される通信コンテンツの品位を変更してもよい。
これにより、ユーザの指示により放送コンテンツと通信コンテンツとの同期再生が要求されてから開始するまでの時間を短くできることができる。また、放送コンテンツと通信コンテンツの同期再生中に通信コンテンツをフルスクリーン表示した場合でもユーザに高品位な表示を提示することができる。放送コンテンツの状態に合わせて通信コンテンツのリソースを自動的に回収することで別のサービスにリソースを割り当てることができる。通信コンテンツに異常が発生した場合に、ユーザに対して不適切な画像が提示されてしまうことを防ぐことができる。また、本実施の形態においても、実施の形態1と同様の効果を奏することができる。
(変形例1)
ここで、本実施の形態における第1の変形例について説明する。
ここで、本実施の形態における第1の変形例について説明する。
本変形例に係る同期コンテンツ情報321には、通信コンテンツと同期再生される放送コンテンツの放送タイプが示されている。本変形例に係る放送受信装置104Aは、その同期コンテンツ情報321を取得すると、その放送タイプに応じた再生処理を行う。
図18は、本変形例に係る同期コンテンツ情報321の一例を示す図である。
この同期コンテンツ情報321は、通信コンテンツのコンテンツIDおよびURLなどを示すとともに、さらに、その通信コンテンツと同期再生される放送コンテンツの放送タイプ801を示す。具体的には、この放送タイプ801は、ライブ放送(ライブ)またはオンデマンド放送(録画)である。
図19は、本変形例に係る放送受信装置104Aによる放送タイプ801を用いた再生処理を示すフローチャートである。
放送受信装置104Aは、まず、同期再生の予約の要求を受け付ける(ステップS901)。つまり、ユーザは、番組情報等を参考にTV104を操作し、放送コンテンツと通信コンテンツの自動開始予約を行う。放送受信装置104Aは、同期コンテンツ情報321の放送タイプ801がライブ放送であるかどうかを確認する(ステップS902)。ここで、ステップS902で、放送タイプ801がライブ放送でないと判別されると(ステップS902のNo)、放送受信装置104Aは、上述のステップS602の通信コンテンツ取得処理を行う。このとき、放送コンテンツの放送が開始される時刻まで十分に時間がある場合には、放送受信装置104Aは、高品位(高画質)の通信コンテンツを取得しておいてもよい。
放送受信装置104Aは、同期再生に十分なデータ量の通信コンテンツが取得された後、その放送コンテンツである放送番組の放送が開始されるかどうかを監視する(ステップS903)。ステップS903で、放送番組の放送が開始されると判別されると(ステップS903のYes)、放送受信装置104Aは、上述のステップS603の同期再生、つまり、放送コンテンツと通信コンテンツとの同期再生を開始する。一方、ステップS903で、放送番組の放送が開始されないと判別されると(ステップS603のNo)、放送受信装置104Aは、その放送番組の放送が開始されるまで待機する。
これにより、放送コンテンツのタイプに応じて事前に通信コンテンツのデータを取得することにより、放送コンテンツの放送開始と同時に、放送コンテンツを通信コンテンツと同期させて再生することが可能になる。
なお、放送受信装置104Aは、放送コンテンツと通信コンテンツとを同期させて再生することによって、これらのコンテンツを3D画像として再生してもよい。なお、このような再生を3D再生または3D表示ともいう。例えば、TV104の出力デバイスが3D対応の場合、放送受信装置104Aは、放送コンテンツを右目用のデータとして出力し、通信コンテンツを左目用のデータとして出力することによって3D再生する。その場合、同期コンテンツ情報321は、その同期コンテンツ情報321に対応する放送コンテンツと通信コンテンツとが3D再生用のコンテンツであることを示す。これにより、放送受信装置104Aは、3D再生用の出力設定(右目用データと左目用データを交互に出力する設定)を事前に行うことができる。
また、3D再生する場合に、通信異常によって通信コンテンツのデータを受信することができなかった場合には、3D再生用の出力設定で表示される画像がユーザに違和感を感じさせる可能性があるため、放送受信装置104Aは、ビデオプレーンに書き込まれた放送コンテンツを2度出力する。これにより、表示される画像は2D画像として視認されるが、違和感を緩和することが可能となる。このような場合、放送受信装置104Aは、ユーザに対して事前に、通信異常によって2D画像に切り替わることを通知してもよい。これにより、ユーザは、2D画像への切り替えが行われることを容易に理解することができる。通信状況が異常から正常に戻れば、放送受信装置104Aは通信コンテンツの再生を再開する。つまり、放送受信装置104Aは、一方のビデオプレーンに書き込まれた放送コンテンツと、他方のビデオプレーンに書き込まれた通信コンテンツとを交互出力することによって、上述の3D再生を行う。また、通信異常等によって、通信コンテンツを受信することができず、3D再生が途中で途切れた場合には、放送受信装置104Aは、途切れた時刻を保持しておく。そして、放送受信装置104Aは、通信コンテンツを受信することができるようになった際に、ユーザが見逃した画像である、その時刻に対応する画像から、3D再生を再開してもよい。
また、ユーザが放送開始時刻を過ぎてからTV104の電源を入れ、放送コンテンツの冒頭部分を見逃してしまうことや、放送途中で席を立ち、一定時間、放送コンテンツを見逃してしまう場合がある。その様な場合、TV104の放送受信装置104Aは、その放送コンテンツと同一の内容を示す通信コンテンツを取得して再生してもよい。これにより、放送受信装置104Aを見逃し再生の代替手段としても利用することが可能である。冒頭部分を見逃してしまった場合、放送受信装置104Aは、その冒頭部分である放送開始位置に対応する通信コンテンツを取得して再生する。コンテンツの種類に応じては、通常再生(1倍速再生)で視聴する必要は無いため、音声も聞き取れるくらいの速度である早見再生で、その通信コンテンツを視聴することも可能である。
通信コンテンツの再生位置が、早見再生中に放送コンテンツの再生位置に追いついた場合には、放送受信装置104Aは、通信コンテンツの再生を放送コンテンツの再生に切り替えるか、通信コンテンツの再生速度を自動的に通常再生の速度に戻す。また、ユーザは放送途中で席を立つ場合、リモコン操作等により、一時、放送コンテンツを視聴できないことをTV104に通知する。このとき、TV104の放送受信装置104Aはその通知を受けた時刻を保持する。そして、ユーザは席へ戻ると、リモコン操作等によって再度視聴したいことをTV104に通知する。これにより、TV104の放送受信装置104Aは、通信を利用して、保持している時刻に対応する通信コンテンツを取得し、前述同様に、早見再生を行ってもよい。また、放送受信装置104Aは、放送コンテンツの特定のシーンを検索して表示したり、シーンの一部を拡大してもよい。
なお、放送受信装置104Aは、放送コンテンツと通信コンテンツとを連携するリレー中継を行ってもよい。例えば、ユーザが放送で野球のナイター中継のようなライブ中継を視聴している最中に、野球の試合自体は継続中だが放送が終了する場合がある。その様な場合に、放送受信装置104Aは、放送(放送コンテンツ)の続きとして通信コンテンツを取得して再生する。また、放送受信装置104Aは、放送コンテンツの大きい動画像の前面に、通信コンテンツの小さい動画像を重ねて出力している際に、放送が終了すると、その通信コンテンツの表示サイズを全画面に変更して、放送の続きとしてその通信コンテンツを継続して再生してもよい。
(変形例2)
ここで、本実施の形態における第2の変形例について説明する。
ここで、本実施の形態における第2の変形例について説明する。
本変形例に係る放送受信装置は、ユーザによる操作に応じて、重畳される放送コンテンツと通信コンテンツのレイアウトを変更する。つまり、放送受信装置は、画面レイアウト情報320とユーザによる操作とに応じて、放送コンテンツと通信コンテンツの配置を入れ替えて表示する。例えば、野球中継では、センターバックスクリーンから撮影した映像を示す放送コンテンツが放送され、ユーザの好きな野手のみをクローズアップした映像を示す通信コンテンツがサーバ102にアップロードされる。この場合、ユーザは、放送コンテンツではなく、通信コンテンツをメインとしてフルスクリーンで表示させ、放送コンテンツをサブとして子画面で表示させて、それぞれのコンテンツを視聴したいと考える。そこで、ユーザは例えばリモコンを介して放送受信装置を操作して放送コンテンツと通信コンテンツの配置を入れ替える。つまり、ユーザは、希望どおり、通信コンテンツの動画像を大きく背面に表示させ、放送コンテンツの動画像を小さく前面に表示させることができる。
図20は、本変形例に係る放送受信装置の内部構成を示すブロック図である。
本変形例に係る放送受信装置104Bは、図20に示すように、上記実施の形態2における放送受信装置104Aの全ての構成要素を備えるとともに、さらに、デコード切替器1001と重畳切替器1002とを備える。
デコード切替器1001は、イメージデコーダ308およびオーディオデコーダ311を制御する。これにより、デコード切替器1001は、放送コンテンツに含まれるイメージデータおよびオーディオフレームのデコードと、通信コンテンツに含まれるイメージデータおよびオーディオフレームのデコードとを切り替える。重畳切替器1002は、画面レイアウト情報320とユーザによる操作とに応じて、各プレーンに保持されているピクチャおよびイメージの重畳順を切り替える。なお、本実施の形態では、リモコンマネージャ328が実施の形態1の指示受付部15に相当する。
図21は、本変形例に係る放送受信装置104Bによるレイアウトの変更、つまり重畳順の切り替えの一例を示すフローチャートである。
本変形例に係る放送受信装置104Bは、ユーザによる指示により、画面切替要求を受け付ける(ステップS1101)。なお、この画面切替要求は、放送コンテンツと通信コンテンツに対するメインとサブの割り当てを切り替える要求である。さらに、放送受信装置104Bは、デコード対象となるイメージデータおよびオーディオフレームも合わせて切り替える必要があるかどうかを確認する(ステップS1102)。ステップS1102で、イメージデータやオーディオフレームも合わせて切り替える必要があると判別されると(ステップS1102のYes)、放送受信装置104Bは、放送コンテンツおよび放送コンテンツのうちの一方のコンテンツに含まれる、現在、デコードされて出力されているイメージデータやオーディオフレームのデコードおよび出力を停止する(ステップS1103)。そして、AV再生ライブラリ326は、デコード切替器1001に対して、他方のコンテンツに含まれる、デコードされていなかったイメージデータおよびオーディオフレームを、デコードするように要求する(ステップS1104)。これにより、デコード対象のイメージデータおよびオーディオフレームが切り替えられる。
次に、放送受信装置104Bは、切り替えられたデコード対象のイメージデータおよびオーディオフレームのデコードおよび出力を開始する(ステップS1105)。そして、放送受信装置104Bは、一方のビデオプレーンに書き込まれている放送コンテンツのピクチャと、他方のビデオプレーンに書き込まれている通信コンテンツのピクチャとの重畳順を入れ替える(ステップS1106)。
これにより、ユーザは、メインとサブを入れ替えることによって、通信コンテンツをメインとして視聴し、かつ、放送コンテンツをサブとして一緒に視聴することができるだけでなく、ビデオ表示をシームレスに切り替えることが可能になる。
ただし、放送と比べて通信は途切れる可能性が高く不安定であるため、通信コンテンツをフルスクリーンで表示中に通信コンテンツが欠落する場合がある。そのような場合、放送受信装置104Bは、ユーザに対して状況を提示して放送コンテンツをフルスクリーン表示してもよい。その後、通信コンテンツが確保されると、放送受信装置104Bは放送コンテンツの表示サイズを自動的にもとの状態に戻してもよい。
なお、本変形例では、重畳切替器1002が上述の加算器317を利用して重畳順を入れ替えたが、放送コンテンツと通信コンテンツが書き込まれるビデオプレーンを入れ替えることにより、メインとサブを入れ替えてもよい。
(変形例3)
ここで、本実施の形態における第3の変形例について説明する。
ここで、本実施の形態における第3の変形例について説明する。
本変形例に係る同期コンテンツ情報321には、通信コンテンツと連動して表示される連動データに関する情報が示されている。本変形例に係る放送受信装置104Aは、その同期コンテンツ情報321を取得すると、その連動データに関する情報に応じた再生処理を行う。
図22は、本変形例に係る同期コンテンツ情報321の一例を示す図である。
この同期コンテンツ情報321は、通信コンテンツのコンテンツIDおよびURLなどを示すとともに、さらに、その通信コンテンツと連動して表示される連動データに関する情報1201を示す。具体的には、この情報1201は、指定された時刻に自動的にイメージデータなどの連動データを通信コンテンツに連動させて再生または出力することを可能にするための情報である。放送受信装置104Aは、その情報1201に示される時刻に、その情報1201に示される名称の連動データを、放送またはインターネット回線103を介して取得して再生または出力する。なお、連動データは、静止画、字幕、または効果音等であり、例えば、通信コンテンツのビデオデータとフレーム単位で同期させて再生される。
(変形例4)
本変形例に係る放送受信装置104Aは、放送コンテンツの上に単一の通信コンテンツを重畳して表示するだけでなく、複数の通信コンテンツを重畳して表示する。例えば、野球中継では、センターバックスクリーンから撮影した映像を示す放送コンテンツが放送され、ピッチャー、キャッチャー、野手、およびチアガールをそれぞれ撮影した映像を示す通信コンテンツがサーバ102にアップロードされる。サーバ102は、それらのアップロードされた通信コンテンツを1つの通信コンテンツに編集して配信する。この場合、放送受信装置104Aは、放送コンテンツをメインとして設定し、その放送コンテンツの動画像をフルスクリーンサイズで表示する。さらに、放送受信装置104Aは、通信コンテンツをサブとして設定し、その通信コンテンツの動画像であって、ピッチャー、キャッチャー、野手、およびチアガールが映し出された動画像を小さい表示サイズで表示する。
本変形例に係る放送受信装置104Aは、放送コンテンツの上に単一の通信コンテンツを重畳して表示するだけでなく、複数の通信コンテンツを重畳して表示する。例えば、野球中継では、センターバックスクリーンから撮影した映像を示す放送コンテンツが放送され、ピッチャー、キャッチャー、野手、およびチアガールをそれぞれ撮影した映像を示す通信コンテンツがサーバ102にアップロードされる。サーバ102は、それらのアップロードされた通信コンテンツを1つの通信コンテンツに編集して配信する。この場合、放送受信装置104Aは、放送コンテンツをメインとして設定し、その放送コンテンツの動画像をフルスクリーンサイズで表示する。さらに、放送受信装置104Aは、通信コンテンツをサブとして設定し、その通信コンテンツの動画像であって、ピッチャー、キャッチャー、野手、およびチアガールが映し出された動画像を小さい表示サイズで表示する。
図23は、本変形例に係る放送受信装置104Aによって表示されるPiP画像の一例を示す図である。
例えば、放送コンテンツと通信コンテンツの同期再生によって野球中継のマルチアングル視聴が実現される。放送受信装置104Aは、放送局101から放送される放送コンテンツ201と、サーバ102からインターネット回線103を介して配信される通信コンテンツ1301とを受信する。そして、放送受信装置104Aは、放送コンテンツ201の放送動画像と通信コンテンツ1301の通信動画像とを重畳してディスプレイ203に出力している。放送コンテンツは、バッター側のアングルから撮影された動画像である放送動画像を示し、通信コンテンツは、ピッチャー、キャッチャー、野手、およびチアガールが映し出された動画像である放送動画像を示す。このように、放送コンテンツのみでは表現しきれない要素を通信コンテンツで補うことで、視聴者により一層臨場感を伝えることが可能となる。
図24は、本変形例に係る同期コンテンツ情報321の一例を示す図である。
本変形例に係る同期コンテンツ情報321は、上記実施の形態2の図15に示す同期コンテンツ情報に含まれる内容を示すとともに、さらに、データタイプ1401、画面数1402、およびビデオ領域1403を示す。
データタイプ1401は、その同期コンテンツ情報321に対応する通信コンテンツの種別である。具体的には、データタイプ1401は、複数のビデオストリームを1つに編集することによって生成されて放送コンテンツに重畳される通信コンテンツのタイプ(このタイプを例えばサムネイル表示という)、単一のビデオストリームからなり放送コンテンツに重畳される通信コンテンツのタイプ(このタイプを例えばアングル表示という)、および放送コンテンツと共に3D表示される通信コンテンツのタイプ(このタイプを3D表示という)等のうちの1つである。画面数1402は、サムネイル表示の通信コンテンツに含まれるビデオストリームの数である。ビデオ領域1403は、サムネイル表示の通信コンテンツに含まれるビデオストリームの表示領域である。
このように本変形例では、通信コンテンツのタイプ(データタイプ1401)がサムネイル表示の場合には、1つの通信コンテンツに複数のビデオストリームが含まれているため、通信コンテンツ用にビデオデコーダおよびビデオプレーンが1つだけしかなくても、通信を介して得られる複数のビデオストリームの画像を同時に表示することができる。ただし、放送受信装置104Aが、通信コンテンツ用にビデオデコーダおよびビデオプレーン等のリソースを複数個備えている場合には、複数の通信コンテンツを取得してそれらの通信コンテンツを個々にデコードすることで同様の効果を得ることができる。あるいは、サイマル放送を利用し、放送コンテンツと通信コンテンツのそれぞれから複数のビデオストリームを取得してそれらのビデオストリームを個々にデコードすることで同様の効果を得てもよい。
(変形例5)
ここで、本実施の形態における第5の変形例について説明する。
ここで、本実施の形態における第5の変形例について説明する。
本変形例に係る放送受信装置は、画面レイアウト情報320および同期コンテンツ情報321だけでなく、アプリケーションプログラム(以下、アプリケーションという)も取得する。つまり、本変形例に係る放送受信装置は、そのアプリケーションに応じて、放送コンテンツと通信コンテンツの同期再生を行なう。これにより、本変形例に係る放送受信装置では、アプリケーションを配信した放送事業者や通信事業者が通信異常時等に対する処理を設定することができる。
図25は、本変形例に係る放送受信装置の内部構成を示すブロック図である。
本変形例に係る放送受信装置104Cは、図25に示すように、上記実施の形態2における放送受信装置104Aの全ての構成要素を備えるとともに、さらに、アプリマネージャ1501を備える。アプリマネージャ1501は、DSMCCで放送波に埋め込まれたアプリケーション1502の起動および終了を管理する。あるいは、アプリマネージャ1501は、放送波に埋め込まれたアプリケーション1502の所在情報を利用して、通信を介してそのアプリケーション1502を取得し、そのアプリケーション1502の起動および終了を管理する。ここで、取得されたアプリケーション1502はシナリオメモリ318に格納され、アプリマネージャ1501は制御部322に備えられる。そして、アプリマネージャ1501は、シナリオメモリ318に格納されているアプリケーション1502を読み出して起動および終了する。
なお、アプリケーション1502の言語は、どのような言語であってもよい。つまり、アプリケーション1502は、Java(登録商標)言語で記述されたものでも、HTML言語で記述されたものでも、BML言語で記述されたものであってもよい。放送受信装置104Cのサービスマネージャ323は、アプリケーション1502に対して、通信異常の通知をしたり、あるいは、画面レイアウト情報320または同期コンテンツ情報321の更新等を通知したりする。また、放送受信装置104Cのサービスマネージャ323は、アプリケーション1502に対して、放送コンテンツと通信コンテンツの同期再生を指示したり、指定されたビットレートや解像度の通信コンテンツの取得を指示したり、画面レイアウト情報320または同期コンテンツ情報321の取得を指示したり、表示画面情報の取得を指示したり、放送コンテンツと通信コンテンツの入れ替えを指示したり、表示/非表示の切替機能等を提示したりしてもよい。
なお、一つまたは複数の態様にかかる放送受信装置について、上記の実施の形態およびその変形例に基づいて説明してきたが、本発明は、これらの実施の形態およびその変形例に限定されないのはもちろんである。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、コンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
ここで、上記各実施の形態の放送受信装置を実現するソフトウェアは、次のようなプログラムである。すなわち、このプログラムは、放送される放送コンテンツを受信するためのプログラムであって、放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信し、前記放送コンテンツを受信し、前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとをプレーンに保持させ、前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得し、前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力することを、コンピュータに実行させる。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなど、に記録したものとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
本発明は、上記実施の形態に記載の装置を制御するLSIとしても実施可能である。機能ブロックは、個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
保存データの移行対象たる読み書き可能な記録媒体として、上記各実施の形態では、記録媒体(例えばHDDやSDカードやコンパクトフラッシュ(登録商標)などの半導体メモリ)を用いたが、本発明の特徴は、記録媒体の物理的特性に依存するものではなく、本発明は、他の読み書き可能な記録媒体にも適用できる。例えば、外付けハードディスクなどにデータが記録された場合においても上述と同様の効果を奏することはもちろんのことである。
上記各実施の形態では、放送コンテンツと通信コンテンツとを融合して再生する再生機能を有する装置について説明したが、本発明は、再生機能のみを有するものではなく記録機能をも有する装置にも適用できることはもちろんのことである。また、上記各実施の形態及び上記各変形例をそれぞれ組み合わせるとしてもよい。
本発明に係る放送受信装置は、放送コンテンツと通信コンテンツとのレイアウトを変更することができるという効果を奏し、例えば、テレビ受像機、再生装置またはモバイル機器などに適用することができる。
10A〜10F 放送受信装置
11a 放送コンテンツ受信部
11b 通信コンテンツ受信部
12 レイアウト情報取得部
13a 第1のプレーン
13b 第2のプレーン
14 重畳部
14F 出力部
15 指示受付部
16 同期情報取得部
17 通信状況取得部
18 所在情報取得部
20,20a レイアウト情報
21 同期情報
101 放送局
102 サーバ
103 インターネット回線
104 TV
104A〜104C 放送受信装置
201 放送コンテンツ
202 通信コンテンツ
203 ディスプレイ
301 チューナ
302 ネットワークインターフェース
303 バッファ
304 バッファ
305 デマルチプレクサ
306 デマルチプレクサ
307 イメージメモリ
308 イメージデコーダ
309 ビデオデコーダ
310 ビデオデコーダ
311 オーディオデコーダ
312 同期制御器
313 イメージプレーン
314 ビデオプレーン
315 ビデオプレーン
316 スピーカ
317 加算器
318 シナリオメモリ
319 カレント番組情報
320 画面レイアウト情報
321 同期コンテンツ情報
322 制御部
323 サービスマネージャ
324 チューナライブラリ
325 通信ライブラリ
326 AV再生ライブラリ
327 レンダリングライブラリ
328 リモコンマネージャ
401 番組一覧情報
402 PAT
403 PMT
801 放送タイプ
1001 デコード切替器
1002 重畳切替器
1201 連動データに関する情報
1301 通信コンテンツ
1401 データタイプ
1402 画面数
1403 ビデオ領域
1501 アプリマネージャ
11a 放送コンテンツ受信部
11b 通信コンテンツ受信部
12 レイアウト情報取得部
13a 第1のプレーン
13b 第2のプレーン
14 重畳部
14F 出力部
15 指示受付部
16 同期情報取得部
17 通信状況取得部
18 所在情報取得部
20,20a レイアウト情報
21 同期情報
101 放送局
102 サーバ
103 インターネット回線
104 TV
104A〜104C 放送受信装置
201 放送コンテンツ
202 通信コンテンツ
203 ディスプレイ
301 チューナ
302 ネットワークインターフェース
303 バッファ
304 バッファ
305 デマルチプレクサ
306 デマルチプレクサ
307 イメージメモリ
308 イメージデコーダ
309 ビデオデコーダ
310 ビデオデコーダ
311 オーディオデコーダ
312 同期制御器
313 イメージプレーン
314 ビデオプレーン
315 ビデオプレーン
316 スピーカ
317 加算器
318 シナリオメモリ
319 カレント番組情報
320 画面レイアウト情報
321 同期コンテンツ情報
322 制御部
323 サービスマネージャ
324 チューナライブラリ
325 通信ライブラリ
326 AV再生ライブラリ
327 レンダリングライブラリ
328 リモコンマネージャ
401 番組一覧情報
402 PAT
403 PMT
801 放送タイプ
1001 デコード切替器
1002 重畳切替器
1201 連動データに関する情報
1301 通信コンテンツ
1401 データタイプ
1402 画面数
1403 ビデオ領域
1501 アプリマネージャ
Claims (21)
- 放送される放送コンテンツを受信する放送受信装置であって、
放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信する通信コンテンツ受信部と、
前記放送コンテンツを受信する放送コンテンツ受信部と、
前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとを保持するためのプレーンと、
前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得するレイアウト情報取得部と、
前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力する重畳部と
を備える放送受信装置。 - 前記レイアウト情報は、
前記放送動画像および前記通信動画像のうちの一方の動画像が、他方の動画像よりも小さく、当該他方の動画像の上に重ねられる場合には、前記他方の動画像のうちの特徴部分を除く位置に前記一方の動画像が重ねられるように、前記放送動画像の表示サイズおよび表示位置と、前記通信動画像の表示サイズおよび表示位置とを示し、
前記重畳部は、
前記レイアウト情報によって示される、前記放送動画像および前記通信動画像のそれぞれの表示サイズで、前記レイアウト情報によって示される、前記放送動画像および前記通信動画像のそれぞれの表示位置に、前記放送動画像および前記放送動画像を配置する
請求項1に記載の放送受信装置。 - 前記レイアウト情報は、第1のレイアウトと第2のレイアウトとを示し、
前記放送受信装置は、さらに、
レイアウトの指示を受け付ける指示受付部を備え、
前記重畳部は、
前記指示受付部によって前記第1のレイアウトの指示が受け付けられた場合には、前記第1のレイアウトにしたがって、前記通信動画像を前記放送動画像に重ねて出力し、
前記指示受付部によって前記第2のレイアウトの指示が受け付けられた場合には、前記第2のレイアウトにしたがって、前記放送動画像を前記通信動画像に重ねて出力する
請求項1に記載の放送受信装置。 - 前記プレーンは、前記放送動画像および前記通信動画像のうちの一方の動画像のピクチャを保持するための第1のプレーンと、他方の動画像のピクチャを保持するための第2のプレーンとを有し、
前記重畳部は、前記放送動画像のピクチャおよび前記通信動画像のピクチャをそれぞれ保持するためのプレーンを、第1のプレーンと第2のプレーンとで切り替えることによって、前記通信動画像を前記放送動画像の前面または背面に配置する
請求項1に記載の放送受信装置。 - 前記放送受信装置は、さらに、
同期情報を前記放送受信装置の外部から取得する同期情報取得部を備え、
前記重畳部は、前記同期情報にしたがって、前記通信動画像と前記放送動画像とを重ねて出力することによって、前記通信動画像を前記放送動画像に同期させる
請求項1に記載の放送受信装置。 - 前記同期情報は、前記通信コンテンツ内の再生位置と、当該再生位置のデータが再生される再生時刻とを関連付けて示し、
前記重畳部は、前記同期情報によって示される再生時刻に、前記通信動画像のうち、当該再生時刻に関連付けて示される再生位置にあるピクチャと、前記放送動画像のピクチャとを重ねて出力する
請求項5に記載の放送受信装置。 - 前記同期情報は、さらに、前記放送コンテンツのタイプを放送タイプとして示し、
前記重畳部は、前記放送タイプによって、前記放送コンテンツがライブ放送されるコンテンツであるか否かを判別し、ライブ放送されるコンテンツであると判別すると、前記放送動画像と前記通信動画像との重ね合わせを禁止する
請求項5に記載の放送受信装置。 - 前記同期情報は、さらに、静止画を特定するための静止画特定情報を含み、
前記重畳部は、前記静止画特定情報によって特定される静止画と、前記放送動画像および前記通信動画像とを重ねて出力する
請求項5に記載の放送受信装置。 - 前記重畳部は、通信コンテンツが前記通信コンテンツ受信部によって受信されない場合には、前記通信動画像を重ねることなく、前記放送動画像を出力する
請求項1に記載の放送受信装置。 - 前記重畳部は、
前記通信動画像がディスプレイの表示サイズ全体に表示され、前記放送動画像が前記ディスプレイの表示サイズよりも小さいサイズで前記通信動画像に重ねられている際に、前記通信コンテンツが前記通信コンテンツ受信部によって受信されていない状態になると、
前記放送動画像の表示サイズを、前記ディスプレイの表示サイズまで拡大し、
前記通信コンテンツが前記通信コンテンツ受信部によって受信されている状態になると、前記放送動画像の表示サイズを、前記ディスプレイの表示サイズよりも小さいサイズに縮小する
請求項1に記載の放送受信装置。 - 前記放送受信装置は、さらに、
前記放送以外の通信の状況を示す通信状況情報を取得する通信状況取得部を備え、
前記通信コンテンツ受信部は、
前記放送コンテンツに関連する複数の通信コンテンツのうち、前記通信状況情報によって示される通信の状況に応じた品質を有する前記通信コンテンツを受信する
請求項1に記載の放送受信装置。 - 前記複数の通信コンテンツのそれぞれのビットレート、または、前記複数の通信コンテンツのそれぞれの解像度は、互いに異なり、
前記通信コンテンツ受信部は、
前記複数の通信コンテンツのうち、前記通信状況情報によって示される通信の状況に応じたビットレートまたは解像度を有する前記通信コンテンツを受信する
請求項11に記載の放送受信装置。 - 前記放送受信装置は、さらに、
前記放送以外の通信の状況を示す通信状況情報を取得する通信状況取得部を備え、
前記重畳部は、
前記通信状況情報によって示される通信の状況である指標値が所定の値よりも低いまたは高い場合には、前記通信動画像を重ねることなく、前記放送動画像を出力する
請求項1に記載の放送受信装置。 - 前記重畳部は、
前記放送動画像および通信動画像が、それぞれが互いに異なる目に視認されることによって立体視される、複数のピクチャからなる動画像である場合には、
前記放送動画像に含まれるピクチャである放送ピクチャと、通信動画像に含まれるピクチャであって、前記放送ピクチャと対になって立体視される通信ピクチャとをそれぞれ重ねることなく、単位時間内に連続して出力し、
前記通信ピクチャが前記通信コンテンツ受信部によって受信されなかった場合には、前記放送ピクチャを、単位時間内に2回連続して出力する
請求項1に記載の放送受信装置。 - 前記通信コンテンツ受信部は、
前記放送コンテンツ受信部によって前記放送コンテンツが受信されている際に、前記放送以外の通信の状況が、前記通信コンテンツが受信可能な受信可能状況から、受信不可能な受信不可状況になり、再び受信可能状況になったときには、
再び前記受信可能状況になったとき以降に前記放送コンテンツ受信部によって受信される前記放送コンテンツの一部に関連する他の通信コンテンツを受信し、
前記重畳部は、
前記レイアウト情報にしたがって、前記放送動画像と前記他の通信動画像とを重ねて出力する
請求項1に記載の放送受信装置。 - 前記放送受信装置は、さらに、
前記放送コンテンツの続きの動画像を示す他の通信コンテンツの所在を示す所在情報を取得する所在情報取得部を備え、
前記通信コンテンツ受信部は、
前記放送コンテンツ受信部による前記放送コンテンツの受信が終了すると、前記所在情報によって示される所在から前記他の通信コンテンツを受信し、
前記重畳部は、
前記放送コンテンツ受信部による前記放送コンテンツの受信が終了した後、前記他の通信コンテンツを出力する
請求項1に記載の放送受信装置。 - 前記放送受信装置は、さらに、
前記放送動画像と同一の前記通信動画像を示す前記通信コンテンツの所在を示す所在情報を取得する所在情報取得部を備え、
前記通信コンテンツ受信部は、
前記放送コンテンツ受信部による前記放送コンテンツの受信が開始された後に、ユーザからの操作を受け付けると、前記所在情報によって示される所在から前記通信コンテンツを受信し、
前記重畳部は、
前記放送コンテンツの受信が開始されときに、前記放送動画像の出力を開始し、前記通信コンテンツの受信が開始されときに、前記レイアウト情報にしたがって、前記放送動画像と、前記通信コンテンツの先頭から示される前記通信動画像とを重ねて出力する
請求項1に記載の放送受信装置。 - 前記重畳部は、
前記放送動画像と前記通信動画像とを重ねる代わりに、
前記通信動画像がディスプレイの表示サイズ全体に表示されるように、前記通信動画像を拡大して、前記通信動画像を出力する
請求項17に記載の放送受信装置。 - 前記重畳部は、
前記放送動画像のうちの表示されている画像と、前記通信動画像のうちの表示されている画像とが等しくなるまで、早送り再生される前記通信コンテンツの通信動画像を出力し、
前記放送動画像のうちの表示されている画像と、前記通信動画像のうちの表示されている画像とが等しくなると、通常再生される前記通信コンテンツの通信動画像を出力する
請求項17に記載の放送受信装置。 - 放送される放送コンテンツを放送受信装置が受信する放送受信方法であって、
放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信し、
前記放送コンテンツを受信し、
前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとをプレーンに保持させ、
前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得し、
前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力する
放送受信方法。 - 放送される放送コンテンツを放送受信装置が受信するためのプログラムであって、
放送以外の通信を介して配信される、前記放送コンテンツに関連する通信コンテンツを受信し、
前記放送コンテンツを受信し、
前記放送コンテンツによって示される動画像である放送動画像のピクチャと、前記通信コンテンツによって示される動画像である通信動画像のピクチャとをプレーンに保持させ、
前記放送動画像および前記通信動画像のレイアウトを示すレイアウト情報を、前記放送受信装置の外部から取得し、
前記レイアウト情報にしたがって、ピクチャごとに、前記プレーンに保持されている前記放送動画像のピクチャと前記通信動画像のピクチャとを重ねて出力する
ことを、前記放送受信装置に備えられたコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013513315A JPWO2013061526A1 (ja) | 2011-10-26 | 2012-10-09 | 放送受信装置、放送受信方法およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011235161 | 2011-10-26 | ||
JP2011235161 | 2011-10-26 | ||
JP2013513315A JPWO2013061526A1 (ja) | 2011-10-26 | 2012-10-09 | 放送受信装置、放送受信方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2013061526A1 true JPWO2013061526A1 (ja) | 2015-04-02 |
Family
ID=48167382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013513315A Pending JPWO2013061526A1 (ja) | 2011-10-26 | 2012-10-09 | 放送受信装置、放送受信方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8949884B2 (ja) |
JP (1) | JPWO2013061526A1 (ja) |
CN (1) | CN103229511A (ja) |
WO (1) | WO2013061526A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102238399B1 (ko) * | 2012-12-07 | 2021-04-09 | 삼성전자주식회사 | Wifi 네트워크에서 멀티미디어 콘텐츠를 스트리밍하기 위한 방법 및 시스템 |
JP6616064B2 (ja) * | 2013-07-25 | 2019-12-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法および受信方法 |
WO2015019736A1 (ja) * | 2013-08-07 | 2015-02-12 | シャープ株式会社 | 送信装置 |
EP3657809B1 (en) * | 2013-10-31 | 2021-12-08 | Panasonic Intellectual Property Corporation of America | Packet reception method and apparatus |
CN107359951B (zh) | 2013-11-13 | 2019-06-28 | 麦克赛尔株式会社 | 广播接收装置 |
CN105723729B (zh) | 2013-11-13 | 2018-06-12 | 麦克赛尔株式会社 | 广播接收装置和广播接收系统 |
JP2015111757A (ja) * | 2013-12-06 | 2015-06-18 | 船井電機株式会社 | 画像処理装置および通信装置 |
JP6288824B2 (ja) * | 2013-12-19 | 2018-03-07 | 日本放送協会 | 受信装置、およびプログラム |
JP6178234B2 (ja) * | 2013-12-27 | 2017-08-09 | 日立マクセル株式会社 | 放送受信装置及び映像表示方法 |
JP6157345B2 (ja) | 2013-12-27 | 2017-07-05 | 日立マクセル株式会社 | 放送受信装置 |
KR101788066B1 (ko) | 2014-01-13 | 2017-11-15 | 엘지전자 주식회사 | 하나 이상의 네트워크를 통해 방송 컨텐츠를 송수신하는 장치 및 방법 |
JP5856636B2 (ja) * | 2014-02-25 | 2016-02-10 | 株式会社Jストリーム | 放送通信連携サービス提供システム |
JPWO2017002642A1 (ja) * | 2015-06-30 | 2018-04-26 | シャープ株式会社 | 情報機器及び表示処理方法 |
JP7071120B2 (ja) * | 2015-08-05 | 2022-05-18 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法並びに制御装置 |
CN105245937A (zh) * | 2015-09-30 | 2016-01-13 | 武汉科优达科技有限公司 | 视频场景控制系统及方法 |
JP2017098702A (ja) * | 2015-11-20 | 2017-06-01 | 日立マクセル株式会社 | 放送受信装置 |
JP6378810B2 (ja) * | 2017-07-13 | 2018-08-22 | マクセル株式会社 | 放送受信装置及び映像表示方法 |
US10665266B2 (en) * | 2018-03-23 | 2020-05-26 | Gfycat, Inc. | Integrating a prerecorded video file into a video |
JP7311815B2 (ja) * | 2018-07-25 | 2023-07-20 | 株式会社Mixi | 情報処理装置、動画配信方法及び動画配信プログラム |
JP6753973B2 (ja) * | 2019-03-11 | 2020-09-09 | マクセル株式会社 | 放送受信装置及び表示方法 |
JP6752949B2 (ja) * | 2019-09-04 | 2020-09-09 | マクセル株式会社 | 出力制御方法及び放送受信装置 |
CN113840176B (zh) * | 2020-06-24 | 2023-05-23 | 京东方科技集团股份有限公司 | 电子设备及其控制方法 |
JP7008761B2 (ja) * | 2020-07-30 | 2022-01-25 | マクセル株式会社 | 放送受信装置および表示方法 |
JP7117069B2 (ja) * | 2020-08-20 | 2022-08-12 | マクセル株式会社 | 放送受信装置及び表示方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262246A (ja) * | 2001-03-05 | 2002-09-13 | Mitsubishi Electric Corp | 出力情報制御装置及び出力情報制御方法 |
JP2004235734A (ja) * | 2003-01-28 | 2004-08-19 | Mitsubishi Electric Corp | 受信機、放送送出装置及び補助コンテンツサーバ |
JP2007033946A (ja) * | 2005-07-27 | 2007-02-08 | Sharp Corp | 映像合成装置及びプログラム |
JP2007243903A (ja) * | 2006-02-10 | 2007-09-20 | Softbank Bb Corp | 番組放送方法及び番組放送システム |
JP2009272880A (ja) * | 2008-05-07 | 2009-11-19 | Funai Electric Co Ltd | デジタル放送受信装置 |
JP2010258707A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 映像表示装置、映像表示方法、プログラムおよび記録媒体 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7168051B2 (en) | 2000-10-10 | 2007-01-23 | Addnclick, Inc. | System and method to configure and provide a network-enabled three-dimensional computing environment |
US8117281B2 (en) | 2006-11-02 | 2012-02-14 | Addnclick, Inc. | Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content |
US8316450B2 (en) | 2000-10-10 | 2012-11-20 | Addn Click, Inc. | System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content |
US20070005969A1 (en) | 2005-07-02 | 2007-01-04 | Addnclick, Inc. | Anonymous communication system and method |
US8234218B2 (en) | 2000-10-10 | 2012-07-31 | AddnClick, Inc | Method of inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content |
AU2003239385A1 (en) * | 2002-05-10 | 2003-11-11 | Richard R. Reisman | Method and apparatus for browsing using multiple coordinated device |
JP2005026867A (ja) | 2003-06-30 | 2005-01-27 | Nhk Engineering Services Inc | 放送通信融合端末、並びに、放送通信融合端末の放送関連情報取得方法及びそのプログラム |
JP2006333101A (ja) | 2005-05-26 | 2006-12-07 | Sharp Corp | テレビジョン情報表示システムおよび装置ならびにリモコン装置 |
US8069466B2 (en) * | 2005-08-04 | 2011-11-29 | Nds Limited | Advanced digital TV system |
US20080094513A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080109725A1 (en) | 2005-08-05 | 2008-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080106533A1 (en) | 2005-08-05 | 2008-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080094512A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080094415A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Method and apparatus for identifying application in multiscreen environment |
US20080098402A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multi screens |
US20080094510A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
JP2009503602A (ja) | 2005-08-05 | 2009-01-29 | サムスン エレクトロニクス カンパニー リミテッド | 多重スクリーン提供装置及び方法 |
US20080094508A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing mutliple screens and method of dynamically configuring |
US8174617B2 (en) | 2005-08-05 | 2012-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080106487A1 (en) | 2005-08-05 | 2008-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080094509A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080088744A1 (en) | 2005-08-05 | 2008-04-17 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US20080094511A1 (en) | 2005-08-05 | 2008-04-24 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
KR20070027070A (ko) * | 2005-08-29 | 2007-03-09 | 삼성전자주식회사 | 방송/통신 결합서비스 정보 송수신 방법 및 장치 |
US20080106645A1 (en) | 2006-08-01 | 2008-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
KR101476140B1 (ko) | 2006-12-18 | 2014-12-24 | 삼성전자주식회사 | 복수 개의 스크린 설정을 위한 멀티스크린 관리 방법 및장치 |
JP4999649B2 (ja) * | 2007-11-09 | 2012-08-15 | キヤノン株式会社 | 表示装置 |
JP4618384B2 (ja) * | 2008-06-09 | 2011-01-26 | ソニー株式会社 | 情報提示装置および情報提示方法 |
JP2009303062A (ja) * | 2008-06-16 | 2009-12-24 | Panasonic Corp | 放送受信端末、放送データ合成方法、プログラムおよび記録媒体 |
JP2011120089A (ja) * | 2009-12-04 | 2011-06-16 | Nec Corp | コンテンツ受信システム、コンテンツ受信装置、コンテンツ受信方法、コンテンツ受信プログラム |
JP5586511B2 (ja) | 2011-03-25 | 2014-09-10 | 日本放送協会 | 同期制御装置及びプログラム |
-
2012
- 2012-10-09 WO PCT/JP2012/006457 patent/WO2013061526A1/ja active Application Filing
- 2012-10-09 US US13/988,912 patent/US8949884B2/en not_active Expired - Fee Related
- 2012-10-09 CN CN2012800038582A patent/CN103229511A/zh active Pending
- 2012-10-09 JP JP2013513315A patent/JPWO2013061526A1/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262246A (ja) * | 2001-03-05 | 2002-09-13 | Mitsubishi Electric Corp | 出力情報制御装置及び出力情報制御方法 |
JP2004235734A (ja) * | 2003-01-28 | 2004-08-19 | Mitsubishi Electric Corp | 受信機、放送送出装置及び補助コンテンツサーバ |
JP2007033946A (ja) * | 2005-07-27 | 2007-02-08 | Sharp Corp | 映像合成装置及びプログラム |
JP2007243903A (ja) * | 2006-02-10 | 2007-09-20 | Softbank Bb Corp | 番組放送方法及び番組放送システム |
JP2009272880A (ja) * | 2008-05-07 | 2009-11-19 | Funai Electric Co Ltd | デジタル放送受信装置 |
JP2010258707A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 映像表示装置、映像表示方法、プログラムおよび記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US8949884B2 (en) | 2015-02-03 |
CN103229511A (zh) | 2013-07-31 |
WO2013061526A1 (ja) | 2013-05-02 |
US20140059590A1 (en) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013061526A1 (ja) | 放送受信装置、放送受信方法およびプログラム | |
US8773584B2 (en) | Playback apparatus, playback method, integrated circuit, broadcast system, and broadcast method using a broadcast video and additional video | |
WO2013061525A1 (ja) | 放送受信装置、再生装置、放送通信システム、放送受信方法、再生方法およびプログラム | |
JP5956441B2 (ja) | 受信再生装置、送信装置、受信再生方法及び送信方法 | |
KR100782835B1 (ko) | 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 | |
WO2012017643A1 (ja) | 符号化方法、表示装置、及び復号方法 | |
JP4364176B2 (ja) | 映像データ再生装置及び映像データ生成装置 | |
WO2013136754A1 (ja) | 表示装置、及び送信装置 | |
JP5870272B2 (ja) | 映像処理装置 | |
US20140237536A1 (en) | Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents | |
WO2013099290A1 (ja) | 映像再生装置、映像再生方法、映像再生プログラム、映像送信装置、映像送信方法及び映像送信プログラム | |
JP5981915B2 (ja) | 送信装置、受信再生装置、送信方法及び受信再生方法 | |
WO2013011696A1 (ja) | 送信装置、受信再生装置、送信方法及び受信再生方法 | |
JP2010161807A (ja) | 記録媒体、映像データ再生装置及び映像データ生成装置 | |
US9979947B2 (en) | Dual mode user interface system and method for 3D video | |
WO2013108633A1 (ja) | 送信装置、映像表示装置、送信方法、映像処理方法、映像処理プログラム及び集積回路 | |
WO2012017687A1 (ja) | 映像再生装置 | |
KR20100047734A (ko) | 방송 수신 장치 및 이를 이용한 영상 재생 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161101 |