JP7401985B2 - 配信装置、受信装置、及びプログラム - Google Patents

Description

本発明は、放送通信連携システムに用いる配信装置、受信装置、及びプログラムに関する。

従来、放送によって伝送される放送映像を受信する受信装置において、放送と同時に通信経由でコンテンツを受信し、これらを同時に視聴可能とする放送通信連携技術が知られている（例えば、非特許文献１参照）。このような形態はハイブリッドキャストと呼ばれることもある。なお、以下において「映像」とは「動画」を意味するものとする。

放送通信連携技術を用いたサービスの一例として、ＰｉｎＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）が挙げられる。これは放送映像及び別の映像を受信装置により合成して提示するサービスであり、例えば放送番組の別視点の映像を視聴できるマルチビューや、放送番組の情報を補完する手話映像への利用が想定されている。

放送通信連携システム仕様 "ＩＰＴＶＦＪ ＳＴＤ－００１０"

上述したようなハイブリッドキャストの放送通信同期動作モデルでＰｉｎＰを実現しようとする場合、放送用と通信用とで合計２つの映像デコーダが必要になる。

一方、市販の多くの受信装置の処理能力は限られており、受信装置が備える映像デコーダは１つのみであることが一般的である。また、コストを鑑みると、将来においても大半の市販受信機において映像デコーダは１つのみである状況が想定される。

そこで、本発明は、受信側の映像デコーダが１つのみである場合であってもＰｉｎＰサービスを実現する配信装置、受信装置、及びプログラムを提供することを目的とする。

第１の態様に係る配信装置は、放送通信連携システムにおいて、放送により伝送される放送映像を受信する受信装置との通信を行う。前記配信装置は、前記放送映像と合成して提示されるべき通信映像を取得するとともに、前記通信映像からフレーム単位の静止画を生成する静止画生成部と、前記静止画生成部により生成された複数の静止画を結合することによりユニット静止画を生成する静止画結合部と、前記静止画結合部により生成された前記ユニット静止画を通信により前記受信装置に伝送する通信部とを備える。

第２の態様に係る受信装置は、放送通信連携システムにおいて、放送送信装置から放送によって伝送される放送映像を受信するとともに配信装置との通信を行う。前記受信装置は、前記放送映像を復号する映像デコーダ部と、前記配信装置から通信によって伝送されるユニット静止画を受信する通信部と、前記ユニット静止画に含まれる複数の静止画の中から提示する静止画を順次更新する提示静止画更新部と、前記映像デコーダ部が出力する復号済み放送映像と前記提示静止画更新部が出力する静止画とを合成して提示する合成提示部とを備える。

第３の態様に係るプログラムは、コンピュータを、第１の態様に係る配信装置又は第２の態様に係る受信装置として機能させることを要旨とする。

本発明によれば、受信側の映像デコーダが１つのみである場合であってもＰｉｎＰサービスを実現する配信装置、受信装置、及びプログラムを提供できる。

実施形態に係る放送通信連携システムの構成を示す図である。 実施形態に係るユニット静止画の一例を示す図である。 実施形態に係る受信装置における映像表示例を示す図である。 実施形態に係る放送送信装置の構成を示す図である。 実施形態に係る配信装置の構成を示す図である。 実施形態に係る静止画結合部の動作を示す図である。 実施形態に係る受信装置の構成を示す図である。 実施形態に係るバッファ部が保持する提示用時刻マップリストの一例を示す図である。 実施形態に係るユニット静止画の初回の配信要求時における受信装置の動作を示す図である。 実施形態に係るユニット静止画の提示処理を示す図である。 実施形態の変更例に係る配信装置の構成を示す図である。 実施形態の変更例に係る受信装置の構成を示す図である。

図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（放送通信連携システム）
まず、本実施形態に係る放送通信連携システムについて説明する。図１は、本実施形態に係る放送通信連携システム１の構成を示す図である。

図１に示すように、放送通信連携システム１は、放送によって伝送される映像データである放送映像を受信する受信装置３００において、放送と同時に通信経由でコンテンツを受信し、これらを同時に視聴可能とするシステムである。本実施形態において、受信装置３００は、映像デコーダ部３０３を１つのみ有しており、この映像デコーダ部３０３を用いて放送映像を復号して提示する。

本実施形態に係る放送通信連携システム１は、受信装置３００の映像デコーダ部３０３が１つのみである場合であってもＰｉｎＰサービスを実現する。ＰｉｎＰとは、放送映像及び別の映像を受信装置３００により合成して提示するサービスをいう。

本実施形態に係る放送通信連携システム１は、放送送信装置１００と、配信装置２００と、受信装置３００とを有する。

放送送信装置１００は、放送による伝送を行う装置である。放送送信装置１００は、例えば放送局から放送映像を取得し、この放送映像を放送により受信装置３００に伝送する。すなわち、放送送信装置１００は、放送映像を含む放送波である放送信号を受信装置３００に伝送する。

また、放送送信装置１００は、放送映像に基準時刻情報を多重した放送信号を送信する。さらに、放送送信装置１００は、放送映像に多重する基準時刻情報と同じ基準時刻情報を配信装置２００に出力する。

配信装置２００は、例えば放送局から通信映像を取得する。通信映像とは、ＰｉｎＰにより放送映像と合成して提示されるべき映像データをいう。通信映像は、例えば、放送映像の別視点の映像であってもよいし、放送映像（放送番組）の情報を補完する手話映像であってもよい。

また、配信装置２００は、受信装置３００からの配信要求に基づいて、通信映像を変換して得たユニット静止画を通信により受信装置３００に伝送する。ユニット静止画とは、複数の静止画をタイル状（すなわち、行列状）に並べて結合した静止画データをいう。なお、通信伝送路は、インターネット等のＩＰ網を含んでもよい。

配信装置２００は、通信映像からフレーム単位の静止画を生成し、複数の静止画を含むユニット静止画を通信により受信装置に伝送する。以下において、ユニット静止画を構成する静止画を「タイル静止画」と呼ぶ。また、配信装置２００は、放送送信装置１００から出力される基準時刻情報に基づいて、放送映像との同期提示を行うための提示時刻情報を複数のタイル静止画のそれぞれに付与する。

図２は、本実施形態に係るユニット静止画の一例を示す図である。図２に示すように、ユニット静止画は、複数のタイル静止画を行列状に並べて結合した静止画である。図２において、タイル静止画が３行３列に並べられており、合計９つのタイル静止画によりユニット静止画が構成される一例を示している。

受信装置３００は、放送送信装置１００から放送によって伝送される放送映像を受信するとともに、配信装置２００との通信を行う装置である。受信装置３００は、例えば、通信に対応したテレビ受像機に内蔵されてもよいし、テレビ受像機と接続されるチューナ装置であってもよい。

受信装置３００は、放送送信装置１００から受信する放送映像を映像デコーダ部３０３により復号して提示する。また、受信装置３００は、配信装置２００からユニット静止画を受信すると、このユニット静止画に含まれる複数のタイル静止画の中から提示する静止画を順次更新する。

このように、通信映像を連続的なタイル画像を結合したユニット静止画に変換し、受信装置３００でこのユニット静止画中のタイル静止画を順次更新しながら提示する。そして、受信装置３００は、映像デコーダ部３０３による復号済みの放送映像と、順次更新される静止画とを合成して提示する。なお、「提示する」とは、受信装置３００と一体に設けられたディスプレイに映像を表示させることであってもよいし、受信装置３００と別体に設けられたディスプレイに映像信号を出力することであってもよい。

図３は、本実施形態に係る受信装置３００における映像表示例を示す図である。図３に示すように、受信装置３００は、放送映像を表示するとともに、この放送映像に重ねて静止画を表示する。但し、受信装置３００は、同一ディスプレイ上に放送映像及び静止画を表示させればよく、放送映像と静止画とを並べて表示させてもよいし、放送映像と静止画とを離間して表示させてもよい。

受信装置３００が表示する静止画を順次更新することにより、擬似的な通信映像（動画）を表示できる。ここで、放送映像を表示するためには映像デコーダ部３０３が必要であるが、静止画を表示するためには受信装置３００のＣＰＵ等で処理が足りるため、映像デコーダ部３０３を用いることなく通信映像を表示できる。これにより、受信装置３００の処理能力が低い前提下においてもＰｉｎＰサービスを実現できる。

また、配信装置２００が、放送送信装置１００から出力される基準時刻情報に基づいて提示時刻情報を複数のタイル静止画のそれぞれに付与することにより、受信装置３００は、この提示時刻情報に基づいて放送映像と同期させて静止画を提示できる。

さらに、複数のタイル静止画を行列状に並べて結合したユニット静止画を伝送することにより、各タイル静止画を個別に伝送する場合に比べてオーバヘッドを削減できる。また、受信装置３００がユニット静止画単位で配信装置２００に配信を要求できるため、受信装置３００が備えるバッファのサイズが小さい場合でも、バッファのオーバーフローが生じないようにすることができる。これにより、効率的な伝送を行うことができる。

（放送送信装置）
次に、本実施形態に係る放送送信装置１００について説明する。図４は、本実施形態に係る放送送信装置１００の構成を示す図である。

図４に示すように、放送送信装置１００は、基準時刻情報生成部１０１と、多重化部１０２と、送信部１０３とを有する。

基準時刻情報生成部１０１は、基準時刻情報を生成し、基準時刻情報を多重化部１０２に出力するとともに、基準時刻情報を配信装置２００に出力する。これらの基準時刻情報には、同期調整用にそれぞれに対してシフト値を設定することができる。

ここで、基準時刻情報のフォーマットはＵＴＣなど様々なクロック値を利用できる。基準時刻情報は、時間進行に伴い正確に増加し、ミリ秒精度を扱えるカウンタークロックとし、単位は限定しない。また、基準時刻情報は、配信装置２００や受信装置３００での演算処理を容易にするために時刻表記から実数に変換してもよい。

多重化部１０２は、放送映像を取得するとともに、基準時刻情報生成部１０１から出力される同期時刻情報を放送映像に多重し、同期時刻情報を多重した放送映像を送信部１０３に出力する。

送信部１０３は、多重化部１０２から出力される放送映像を放送信号に変換し、放送伝送路を介して放送信号を送信する。

放送送信装置１００は、多重化部１０２から出力される放送映像を蓄積する蓄積部１０４を有していてもよい。

なお、放送送信装置１００内での基準時刻情報の多重は、放送信号の送信時、あるいは放送信号の送信時よりも前の時点で行う。

放送信号の送信時に基準時刻情報を多重する場合、基準時刻情報生成部１０１の基準時刻情報の値は番組進行時刻と合わせる。また、多重化部１０２は、番組進行時刻に合わせて基準時刻情報を放送映像に多重する。

一方、放送信号の送信時よりも前の時点で基準時刻情報を多重する場合、多重化部１０２は、基準時刻情報生成部１０１から取得される基準時刻情報を、番組開始予定時刻に合わせてシフトして放送映像に多重する。この場合、蓄積部１０４は、シフトされた基準時刻情報が多重された放送映像を蓄積する。

（配信装置）
次に、本実施形態に係る配信装置２００について説明する。図５は、本実施形態に係る配信装置２００の構成を示す図である。

図５に示すように、配信装置２００は、静止画生成部２０１と、時刻情報付与部２０２と、静止画蓄積部２０３と、静止画結合部２０４と、通信部２０５とを有する。

静止画生成部２０１は、放送映像と合成して提示されるべき通信映像を取得するとともに、この通信映像からフレーム単位の静止画を生成し、生成した各静止画（タイル静止画）を時刻情報付与部２０２に出力する。

時刻情報付与部２０２は、放送送信装置１００から出力される基準時刻情報に基づいて、静止画生成部２０１から出力される各静止画に対して提示時刻情報を付与及び多重し、提示時刻情報が多重された各静止画を静止画蓄積部２０３に出力する。ここで、各静止画のデータは、ペイロード部分に加えて、提示時刻情報を記録する領域を持つものとする。

また、時刻情報付与部２０２は、放送映像と同期提示したい各静止画に合わせて基準時刻情報の値を提示時刻情報として多重する。時刻情報付与部２０２は、同期の調整のために基準時刻情報をシフトしたものを提示時刻情報として多重してもよい。時刻情報付与部２０２は、放送信号の送信時よりも前の時点で提示時刻情報を多重する場合、基準時刻情報生成部１０１から取得される基準時刻情報を、番組開始予定時刻に合わせてシフトして静止画に多重する。

静止画蓄積部２０３は、時刻情報付与部２０２から出力される静止画を蓄積する。具体的には、静止画蓄積部２０３は、提示時刻情報に応じてソートして静止画を蓄積していく。また、静止画蓄積部２０３は、蓄積されている一連の静止画の提示時刻情報のリストを蓄積範囲情報として生成する。

静止画結合部２０４は、通信部２０５が受信装置３００から受信する配信要求に基づいて、静止画蓄積部２０３から複数の静止画を取得し、取得した複数の静止画からユニット静止画を生成し、生成したユニット静止画を通信部２０５に出力する。

また、静止画結合部２０４は、ユニット静止画を構成する各静止画に対して、該静止画のユニット静止画内での座標位置を示す座標情報を付与し、座標情報をユニット静止画に多重する。

通信部２０５は、受信装置３００からユニット静止画の配信要求を受信し、受信した配信要求を静止画結合部２０４に出力する。ユニット静止画の配信要求は、下記の情報を含む。

・要求するタイル静止画の開始時刻：ｔ_{ｒｅｑｕｅｓｔ－ｓｔａｒｔ}
・要求するタイル静止画の終了時刻：ｔ_{ｒｅｑｕｅｓｔ－ｅｎｄ}
・タイル更新間隔：Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}
ここで、タイル更新間隔とは、受信装置３００が提示するタイル静止画を更新する時間間隔（時間長）をいう。

また、通信部２０５は、静止画結合部２０４から出力されるユニット静止画を、通信伝送路を介して受信装置３００に送信する。

ここで、本実施形態に係る静止画結合部２０４の動作について説明する。図６は、本実施形態に係る静止画結合部２０４の動作を示す図である。

図６に示すように、ステップＳ１１０において、静止画結合部２０４は、ユニット静止画の配信要求を受ける。

ステップＳ１２０において、静止画結合部２０４は、タイル静止画リストを作成する。具体的には、静止画結合部２０４は、ユニット静止画の配信要求で要求されたｔ_{ｒｅｑｕｅｓｔ－ｓｔａｒｔ}からｔ_{ｒｅｑｕｅｓｔ－ｅｎｄ}までの範囲で、Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}をステップとした時刻情報のリストＴ_{ｒｅｑuｅｓｔ}を作成する。静止画結合部２０４は、Ｔ_{ｒｅｑuｅｓｔ}の各時刻情報Ｔ_{ｒｅｑuｅｓｔ}［ｎ］に対して、蓄積範囲情報Ｔ_{ｓｔｏｒｅ}から最も近い値を探索し、その結果をリストＴ_ｔｉｌｅとする。

ステップＳ１３０において、静止画結合部２０４は、１つのユニット静止画を作成する。

第１に、静止画結合部２０４は、次式により１つのユニット静止画に含まれるタイル静止画の数ｎ_{ｕｎｉｔ－ｔｉｌｅ}を取得する。

ｎ_{ｕｎｉｔ－ｔｉｌｅ}＝ｃｏｌｕｍｎ_ｕｎｉｔ＊ｒｏｗ_ｕｎｉｔ
但し、ｃｏｌｕｍｎ_ｕｎｉｔはユニット静止画内のタイル列数であり、ｒｏｗ_ｕｎｉｔはユニット静止画内のタイル行数である。

第２に、静止画結合部２０４は、Ｔ_ｔｉｌｅのうち、対応するタイル静止画の結合処理が行われていない時刻情報からｎ_{ｕｎｉｔ－ｔｉｌｅ}個のリストを抽出し、それぞれの時刻情報に相当するタイル静止画からなるタイル静止画群ｔｉｌｅ_{ｐｒｅ－ｓｙｎｔｅｓｉｓ}を静止画蓄積部２０３から取得する。

第３に、静止画結合部２０４は、タイル静止画群ｔｉｌｅ_{ｐｒｅ－ｓｙｎｔｅｓｉｓ}を結合してユニット静止画を生成する。ここで、ｉ番目のタイル静止画は次式に従う座標値をもとに配置して結合する。なお、ｉは０から始まる整数値とする。

タイル列番号：ｃｏｌｕｍｎ_ｔｉｌｅ＝ｉ％ｃｏｌｕｍｎ_ｕｎｉｔ
タイル行番号：ｒｏｗ_ｔｉｌｅ＝（ｉ－ｃｏｌｕｍｎ_ｔｉｌｅ）／ｒｏｗ_ｕｎｉｔ－１
タイル左端座標値：ｃｏｏｒｄｉｎａｔｅ_ｌｅｆｔ＝ｗ_ｔｉｌｅ＊ｃｏｌｕｍｎ_ｔｉｌｅ
タイル右端座標値：ｃｏｏｒｄｉｎａｔｅ_{ｒｉｇｈｔ}＝ｗ_ｔｉｌｅ＊（ｃｏｌｕｍｎ_ｔｉｌｅ＋１）
タイル上端座標値：ｃｏｏｒｄｉｎａｔｅ_ｔｏｐ＝ｈ_ｔｉｌｅ＊ｒｏｗ_ｔｉｌｅ
タイル下端座標値：ｃｏｏｒｄｉｎａｔｅ_{ｂｏｔｔｏｍ}＝ｈ_ｔｉｌｅ＊（ｒｏｗ_ｔｉｌｅ＋１）
但し、％は剰余演算子であり、ｗ_ｔｉｌｅはタイル静止画の幅であり、ｈ_ｔｉｌｅはタイル静止画の高さである。

ステップＳ１４０において、静止画結合部２０４は、生成したユニット静止画に次のメタデータを多重し、ファイル化する。生成されたユニット静止画はｊｐｇやｐｎｇ等のフォーマットで圧縮されていてもよい。

・ファイル名（生成するユニット静止画ファイルごとに異なった名前にする）
・タイル静止画ごとの番号ｉ、提示時刻情報、座標情報
ステップＳ１５０において、静止画結合部２０４は、生成したユニット静止画ファイルを通信部２０５により受信装置３００に配信する。

（受信装置）
次に、本実施形態に係る受信装置３００について説明する。図７は、本実施形態に係る受信装置３００の構成を示す図である。

図７に示すように、受信装置３００は、放送受信部３０１と、放送信号分離部３０２と、映像デコーダ部３０３と、基準時刻情報取得部３０４と、通信部３０５と、配信要求部３０６と、バッファ部３０７と、提示静止画更新部３０８と、合成提示部３０９とを有する。

放送受信部３０１は、放送送信装置１００から放送伝送路を介して放送信号を受信し、受信した放送信号を放送信号分離部３０２に出力する。

放送信号分離部３０２は、放送受信部３０１から出力される放送信号から放送映像及び基準時刻情報を分離し、放送映像を映像デコーダ部３０３に出力するとともに、基準時刻情報を基準時刻情報取得部３０４に出力する。

映像デコーダ部３０３は、放送信号分離部３０２から出力される放送映像を復号（具体的には、圧縮復号）し、復号後の放送映像を合成提示部３０９に出力する。

基準時刻情報取得部３０４は、自走クロックを有しており、放送信号分離部３０２から出力される基準時刻情報を用いて自走クロックの値を校正し、更生後のクロック値を基準時刻情報として配信要求部３０６及び提示静止画更新部３０８に出力する。

通信部３０５は、配信要求部３０６から出力されるユニット静止画配信要求を、通信伝送路を介して配信装置２００に送信する。また、通信部３０５は、配信装置２００から通信伝送路を介してユニット静止画（ユニット静止画ファイル）を受信し、受信したユニット静止画をバッファ部３０７に出力する。

配信要求部３０６は、ユニット静止画の配信要求を生成し、この配信要求を通信部３０５に出力する。ユニット静止画の初回の配信要求時には、この配信要求に含める情報を次のように設定する。

・要求するタイル静止画の開始時刻ｔ_{ｒｅｑｕｅｓｔ－ｓｔａｒｔ}：
基準時刻情報取得部３０４から取得した基準時刻情報Ｔ_ＢＣＴの値
・要求するタイル静止画の終了時刻ｔ_{ｒｅｑｕｅｓｔ－ｅｎｄ}：
基準時刻情報Ｔ_ＢＣＴ＋バッファ時間Δｔ_{ｂｕｆｆｅｒ}の値
・タイル更新間隔Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}：
タイル更新間隔初期値Δｔ_{ｉｎｉｔｉａｌ－ｕｐｄａｔｅ}
ここで、バッファ時間とは、バッファ部３０７でユニット静止画を保持する時間長をいう。ユニット静止画の初回の配信要求時には、バッファ時間として初期値を用いる。

なお、放送送信装置１００内で基準時刻情報を多重する多重化部１０２と、受信装置３００内で基準時刻情報を取得する基準時刻情報取得部３０４との間において、遅延Δｔ_{ｄｅｌａｙ－ｂｒｏａｄｃａｓｔ}が生じることを前提とした場合、バッファ時間Δｔ_{ｂｕｆｆｅｒ}は、Δｔ_{ｄｅｌａｙ－ｂｒｏａｄｃａｓｔ}＞Δｔ_{ｂｕｆｆｅｒ}となるように設定する。

バッファ部３０７は、通信部３０５から出力されるユニット静止画を一時的に保持する。また、バッファ部３０７は、ユニット静止画に多重されているメタデータに基づいて、保持しているユニット静止画の提示用の時刻マップリストを保持する。

図８は、本実施形態に係るバッファ部３０７が保持する提示用時刻マップリストの一例を示す図である。図８に示すように、提示用時刻マップリストは、タイル静止画ごとに、このタイル静止画が属するユニット静止画のファイル名と、このタイル静止画の提示時刻情報と、このタイル静止画の構成座標情報とを有する。構成座標とは、各タイル静止画の左端、上端、右端、下端の座標をいう。このリストは、提示時刻情報に対して昇順でソートされている。

このような提示用時刻マップリストは、バッファ部３０７内のユニット静止画の追加・破棄により更新される。また、バッファ部３０７内のユニット静止画は、ユニット静止画内のすべてのタイル静止画の提示が完了すると破棄される。

提示静止画更新部３０８は、バッファ部３０７が保持するユニット静止画に含まれる複数のタイル静止画の中から提示する静止画を順次更新し、この静止画を合成提示部３０９に出力する。ここで、提示静止画更新部３０８は、基準時刻情報取得部３０４が出力する基準時刻情報と各タイル静止画に付与されている提示時刻情報とに基づいて、放送映像と静止画との同期提示を行うように、提示する静止画を順次更新する。

また、提示静止画更新部３０８は、各タイル静止画に付与されている座標情報（構成座標）に基づいて、バッファ部３０７が保持するユニット静止画から各静止画を抽出する。

合成提示部３０９は、映像デコーダ部３０３が出力する復号済み放送映像と提示静止画更新部３０８が出力する静止画とを合成して提示する（図３参照）。ここで、放送映像及び静止画のディスプレイ上の配置位置、大きさ、縦横比、及び重なり順序は任意に決定できるものとし、ＨＴＭＬ５などのレイアウト記述言語にて記述できるものとする。その記述を行うものをレイアウト記述ファイルと呼ぶ。

また、配信要求部３０６は、２回目以降の配信要求時（すなわち、ユニット静止画の追加配信要求時）には、この配信要求に含める情報を次のように設定する。

・要求するタイル静止画の開始時間ｔ_{ｒｅｑｕｅｓｔ－ｓｔａｒｔ}：
バッファ部３０７の提示用時刻マップリストの最終レコードの提示時刻情報＋Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}
・要求するタイル静止画の終了時間ｔ_{ｒｅｑｕｅｓｔ－ｅｎｄ}：
ｔ_{ｒｅｑｕｅｓｔ－ｓｔａｒｔ}＋Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}＊ｎ_{ｕｎｉｔ－ｔｉｌｅ}
・タイル更新間隔Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}：
タイル更新間隔初期値Δｔ_{ｓｅｔｔｉｎｇ－ｕｐｄａｔｅ}、又は更新間隔実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}
但し、更新間隔実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}は、１つの静止画の提示が完了してから次の静止画の提示が完了するまでの時間の実績値である。配信要求部３０６は、更新間隔実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}をタイル更新間隔Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}としてユニット静止画の配信要求に含めることにより、受信装置３００の処理能力に見合ったタイル更新間隔Δｔ_{ｒｅｑｕｅｓｔ－ｕｐｄａｔｅ}を設定できる。

なお、１つのユニット静止画内のタイル静止画の数ｎ_{ｕｎｉｔ－ｔｉｌｅ}は、予め定められた固定値であってもよいし、配信装置２００が変更可能な可変値であってもよい。ｎ_{ｕｎｉｔ－ｔｉｌｅ}が可変である場合、ｎ_{ｕｎｉｔ－ｔｉｌｅ}の値は配信装置２００から受信装置３００に通知されるものとする。

図９は、本実施形態に係るユニット静止画の初回の配信要求時における受信装置３００の動作を示す図である。

図９に示すように、ステップＳ２１０において、配信要求部３０６は、基準時刻情報取得部３０４が出力する基準時刻情報Ｔ_ＢＴＣを取得する。

ステップＳ２２０において、配信要求部３０６は、ユニット静止画の初回の配信要求を生成する。通信部３０５は、この配信要求を配信装置２００に送信する。

ステップＳ２３０において、通信部３０５は、配信装置２００からユニット静止画を受信する。バッファ部３０７は、このユニット静止画を保持する。

ステップＳ２４０において、提示静止画更新部３０８は、ユニット静止画の提示処理を行う。

図１０は、本実施形態に係るユニット静止画の提示処理を示す図である。

図１０に示すように、ステップＳ２４１において、提示静止画更新部３０８は、基準時刻情報取得部３０４が出力する基準時刻情報Ｔ_ＢＴＣを取得する。

ステップＳ２４２において、提示静止画更新部３０８は、提示するタイル静止画を決定し、このタイル静止画を合成提示部３０９に出力する。

第１に、提示静止画更新部３０８は、バッファ部３０７に保持されている提示用時刻マップリストの各提示時刻情報Ｔ_ＰＴＳの中から、基準時刻情報Ｔ_ＢＴＣに最も近い値を探索し、探索された値に対応する提示用時刻マップリストのレコードをＲ_{ｐｒｅｓｅｎｔａｔｉｏｎ}とする。

第２に、Ｒ_{ｐｒｅｓｅｎｔａｔｉｏｎ}に相当するタイル静止画を合成提示部３０９で提示する。提示静止画更新部３０８は、Ｒ_{ｐｒｅｓｅｎｔａｔｉｏｎ}の構成座標でユニット静止画上の提示範囲を指定する。合成提示部３０９は、レイアウト記述ファイルが指定するレイアウトの通りにディスプレイ上にタイル静止画を提示する。

第３に、提示静止画更新部３０８は、１枚の提示が完了してから、次の提示が完了するまでの時間値を計測し、更新間隔実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}として保持する。但し、更新間隔実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}＜更新間隔初期値Δｔ_{ｓｅｔｔｉｎｇ－ｕｐｄａｔｅ}のときは、その値を保持せず、Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}をΔｔ_{ｓｅｔｔｉｎｇ－ｕｐｄａｔｅ}とする。

ステップＳ２４３において、提示静止画更新部３０８は、バッファ部３０７を参照し、提示されたタイル静止画の提示時刻がユニット静止画内で最後であるか否かを判定する。最後ではない場合、処理がステップＳ２４２に戻る。

一方、最後である場合、ステップＳ２４４において、提示静止画更新部３０８は、バッファ部３０７に保持されているユニット静止画を削除する。

ステップＳ２４５において、配信要求部３０６は、ユニット静止画の追加の配信要求を生成する。通信部３０５は、この配信要求を配信装置２００に送信する。

ステップＳ２４６において、通信部３０５は、配信装置２００から追加のユニット静止画を受信する。バッファ部３０７は、このユニット静止画を保持する。その後、処理がステップＳ２４２に戻る。

＜変更例＞
変更例について、上述した実施形態との相違点を説明する。

本変更例では、放送映像の別視点の３６０度映像をユーザ操作で任意に操作し、この３６０度映像を通信映像として放送映像と合成して提示するＰｉｎＰサービスを想定する。具体的には、３６０度映像のようなテクスチャマッピングを必要とするコンテンツや３ＤのＣＧを伴うコンテンツを通信経由で提供する。

３６０度映像の処理に対応した高度なＧＰＵを備える受信装置３００は現在市販されておらず、コストを鑑みると将来においても大半の市販の受信装置３００において高度なＧＰＵを搭載するケースは限定的と想定される。

本変更例では、配信装置２００側で３６０度映像の描画処理を行い、その描画出力をユニット静止画化して通信経由で受信装置３００に配信して再生可能とする。具体的には、描画出力を連続的なタイル画像を結合したユニット静止画に変換し、受信装置３００でこのユニット静止画中のタイル静止画を連続的に更新描画する。

（配信装置）
本変更例に係る配信装置２００について説明する。図１１は、本変更例に係る配信装置２００の構成を示す図である。

図１１に示すように、本実施形態に係る配信装置２００は、描画処理部２０６を備える点、及び静止画蓄積部２０３を備えていない点が、上述した実施形態とは異なっている。

描画処理部２０６は、受信装置３００で検出されたユーザ操作の内容を示す操作情報を取得するとともに、操作情報に応じた描画処理を行うことにより通信映像を生成する。具体的には、描画処理部２０６は、ユーザ操作に応じてコンテンツリソースから描画処理を行い、その処理結果を描画出力する。

例えば、操作情報は、ユーザの視線方向を示す情報であってもよい。描画処理部２０６は、ヘッドマウントディスプレイの視線センサーやタブレット端末でのユーザ操作により検出された利用者の視線方向の情報を操作情報として用いる。描画処理部２０６は、この情報を用いて、ユーザの視線方向に応じた３６０度映像の一部領域を選択し、選択した領域を通信映像として静止画生成部２０１に出力する。

本変更例において、静止画生成部２０１は、描画処理部２０６が描画出力する通信映像からフレーム単位の静止画を生成し、各静止画（タイル静止画）を時刻情報付与部２０２に出力する。静止画生成部２０１は、通信部３０５から出力されるタイル更新間隔を受けて、そのタイル更新間隔ごとに静止画を生成する。

また、本変更例において、静止画結合部２０４は、ｎ_{ｕｎｉｔ－ｔｉｌｅ}個の連続したタイル静止画を時刻情報付与部２０２から取得し、これらのタイル静止画からなるタイル静止画群を結合してユニット静止画を生成する。

その他の構成については、上述した実施形態と同様である。

（受信装置）
本変更例に係る受信装置３００について説明する。図１２は、本変更例に係る受信装置３００の構成を示す図である。

図１２に示すように、本変更例に係る受信装置３００は、操作情報生成部３１０を備える点が、上述した実施形態とは異なっている。例えば、操作情報生成部３１０は、ヘッドマウントディスプレイの視線センサーやタブレット端末でのユーザ操作により視線方向を検出し、この視線方向を示す操作情報を通信部３０５に出力する。通信部３０５は、操作情報生成部３１０から出力される操作情報を、通信伝送路を介して配信装置２００に送信する。

その他の構成については、上述した実施形態と同様である。

ここで、本変更例に係る提示静止画更新部３０８における提示静止画の更新手順について説明する。

まず、提示静止画更新部３０８は、バッファ部３０７が保持するユニット静止画からタイル静止画を順に提示する。

ここで、第１に、提示静止画更新部３０８は、提示するタイル静止画のレコードとして提示用時刻マップリストの最初のレコードを指定し、このレコードのタイル静止画を提示する。

第２に、提示静止画更新部３０８は、提示用時刻マップリストの提示中のレコードの提示時刻情報をＴ_{ｃｕｒｒｅｎｔ}、次のレコードの提示時刻情報をＴ_ｎｅｘｔとし、その差分Δｔ_{ｕｐｄａｔｅ}＝Ｔ_ｎｅｘｔ－Ｔ_{ｃｕｒｒｅｎｔ}を求める。

第３に、提示静止画更新部３０８は、基準時刻情報Ｔ_ＢＣＴを取得及び記録し、Δｔ_{ｕｐｄａｔｅ}だけ待機し、次のレコードを指定する。

提示静止画更新部３０８は、このような処理を、そのユニット静止画内のタイル静止画がすべて表示されるまで繰り返す。

次に、提示静止画更新部３０８は、記録した基準時刻情報Ｔ_ＢＣＴから更新時間実績値Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}を算出し、Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}をタイル更新間隔として決定する。Δｔ_{ａｃｈｉｅｖｅｍｅｎｔ－ｕｐｄａｔｅ}は、記録した基準時刻情報Ｔ_ＢＣＴの全体平均、移動平均、又は最大値とする。

次に、提示静止画更新部３０８は、すべてのタイル静止画の提示が終了したユニット静止画をバッファ部３０７から削除する。

＜その他の実施形態＞
上述した実施形態に係る各装置が行う処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、上述した実施形態に係る各装置が行う処理を実行する機能部（回路）を集積化し、これらの装置を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：放送通信連携システム
１００ ：放送送信装置
１０１ ：基準時刻情報生成部
１０２ ：多重化部
１０３ ：送信部
１０４ ：蓄積部
２００ ：配信装置
２０１ ：静止画生成部
２０２ ：時刻情報付与部
２０３ ：静止画蓄積部
２０４ ：静止画結合部
２０５ ：通信部
２０６ ：描画処理部
３００ ：受信装置
３０１ ：放送受信部
３０２ ：放送信号分離部
３０３ ：映像デコーダ部
３０４ ：基準時刻情報取得部
３０５ ：通信部
３０６ ：配信要求部
３０７ ：バッファ部
３０８ ：提示静止画更新部
３０９ ：合成提示部
３１０ ：操作情報生成部

Claims (10)

1. 放送通信連携システムにおいて、放送により伝送される放送映像を受信する受信装置との通信を行う配信装置であって、
   前記放送映像と合成して提示されるべき通信映像を取得するとともに、前記通信映像からフレーム単位の静止画を生成する静止画生成部と、
   前記静止画生成部により生成された複数の静止画を結合することによりユニット静止画を生成する静止画結合部と、
   前記静止画結合部により生成された前記ユニット静止画を通信により前記受信装置に伝送する通信部と、を備えることを特徴とする配信装置。
2. 前記放送映像との同期提示を行うための提示時刻情報を前記複数の静止画のそれぞれに付与し、前記提示時刻情報を前記ユニット静止画に多重する時刻情報付与部をさらに備えることを特徴とする請求項１に記載の配信装置。
3. 前記静止画結合部は、前記複数の静止画のそれぞれに対して、該静止画の前記ユニット静止画内での座標位置を示す座標情報を付与し、前記座標情報を前記ユニット静止画に多重することを特徴とする請求項１又は２に記載の配信装置。
4. 前記受信装置で検出されたユーザ操作の内容を示す操作情報を取得するとともに、前記操作情報に応じた描画処理を行うことにより前記通信映像を生成する描画処理部をさらに備え、
   前記静止画生成部は、前記描画処理部が描画出力する前記通信映像から前記静止画を生成することを特徴とする請求項１乃至３のいずれか１項に記載の配信装置。
5. 放送通信連携システムにおいて、放送送信装置から放送によって伝送される放送映像を受信するとともに配信装置との通信を行う受信装置であって、
   前記放送映像を復号する映像デコーダ部と、
   前記配信装置から通信によって伝送されるユニット静止画を受信する通信部と、
   前記ユニット静止画に含まれる複数の静止画の中から提示する静止画を順次更新する提示静止画更新部と、
   前記映像デコーダ部が出力する復号済み放送映像と前記提示静止画更新部が出力する静止画とを合成して提示する合成提示部と、を備えることを特徴とする受信装置。
6. 前記放送映像に多重された時刻情報に基づいて基準時刻情報を取得する基準時刻情報取得部をさらに備え、
   前記提示静止画更新部は、前記基準時刻情報と、前記複数の静止画のそれぞれに付与されている提示時刻情報とに基づいて、前記放送映像と前記ユニット静止画との同期提示を行うように、前記提示する静止画を順次更新することを特徴とする請求項５に記載の受信装置。
7. 前記提示静止画更新部は、前記複数の静止画のそれぞれに付与されている座標情報に基づいて、前記ユニット静止画から各静止画を抽出することを特徴とする請求項５又は６に記載の受信装置。
8. 配信要求を前記配信装置に送信する配信要求部をさらに備え、
   前記配信要求部は、１つの静止画の提示が完了してから次の静止画の提示が完了するまでの時間を表す更新間隔実績値に基づいて、前記配信装置が前記ユニット静止画に含める静止画の時間間隔を指定することを特徴とする請求項５乃至７のいずれか１項に記載の受信装置。
9. コンピュータを、請求項１に記載の配信装置として機能させることを特徴とするプログラム。
10. コンピュータを、請求項５に記載の受信装置として機能させることを特徴とするプログラム。

Images