図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
<第1実施形態>
(ストリーミング配信システムの構成)
まず、本実施形態に係るストリーミング配信システムの構成について説明する。図1は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
図1に示すように、ストリーミング配信システム1は、階層符号化器100と、配信サーバ200と、ネットワーク300と、一対の端末装置400a及び400bと、インセンティブ管理サーバ500とを有する。以下において、端末装置400a及び400bを特に区別しないときは単に端末装置400と呼ぶ。
階層符号化器100は、高品質映像である原映像データに対して階層符号化を施し、階層符号化した映像データを配信サーバ200に格納する。図1に示す例において、階層符号化器100は、基本階層データBと補強階層データEとを配信サーバ200に出力する。本実施形態において、補強階層データEは、第1補強階層データに相当する。
ここで、基本階層データBは、原映像データのビットレートに対して低い符号化ビットレートで符号化した階層の映像データであって、独立して復号及び再生が可能なデータである。基本階層データBは、低品質映像データに相当する。
補強階層データEは、基本階層データBで符号化していない階層の映像データであって、基本階層データBと組み合わせて復号及び再生が可能なデータである。すなわち、補強階層データEは、高品質映像データのうち基本階層データB以外のデータである。
端末装置400は、基本階層データBと併せて補強階層データEを取得して復号することで、基本階層データBのみで映像再生を行うよりも高い符号化ビットレートでの映像再生、すなわち、高品質映像の再生を行うことができるようになる。
なお、階層符号化器100における階層符号化としては、例えば、時間階層符号化、空間階層符号化、又はSNR階層符号化を利用できる。これらの階層符号化については、例えば、「角野眞也、映像情報メディア学会誌Vol.61,No.4(2007)、インターネット<URL:https://www.ite.or.jp/contents/keywords/FILE-20111231153637.pdf>」に記載されている。
配信サーバ200は、階層符号化器100から出力された基本階層データBと補強階層データEとを格納する。配信サーバ200は、ネットワーク300を介して端末装置400との通信を行う。具体的には、配信サーバ200は、端末装置400からの要求に応じて、格納したデータをストリーミング配信により配信する。本実施形態において、配信サーバ200は、基本階層データB及び補強階層データEを端末装置400aに配信するとともに、基本階層データBを端末装置400bに配信する。
ネットワーク300は、インターネットを含む。ネットワーク300は、無線通信サービスを提供する事業者の無線通信ネットワークを含んでもよい。ネットワーク300は、狭域通信ネットワーク(LAN)を含んでもよい。
端末装置400は、ネットワーク300に接続して通信を行う機能、端末間直接通信を行う機能、及び映像データを再生する機能を有する。端末装置400は、これらの機能を有する端末であればどのような端末であってもよいが、例えば、スマートフォン端末、タブレット端末、パーソナルコンピュータ(PC)、ポータブルテレビ、又はウェアラブル端末等である。
端末装置400a及び400bのそれぞれは、ネットワーク300に有線又は無線で接続し、ネットワーク300を介して配信サーバ200との通信を行う。ここで、ネットワーク300を介した通信について、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域よりも少なくてもよい。端末装置400bは、ネットワーク300を介した通信における利用可能帯域が枯渇した状態になりうる。
本実施形態において、端末装置400aは、基本階層データB及び補強階層データEの配信を配信サーバ200に要求し、基本階層データB及び補強階層データEを配信サーバ200から取得する。端末装置400bは、基本階層データBの配信を配信サーバ200に要求し、補強階層データEを配信サーバ200から取得せずに基本階層データBを配信サーバ200から取得する。
端末装置400a及び400bは、端末間直接通信を行う。端末間直接通信には、例えば、Wi-Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D(Device-to-Device)通信規格のいずれかの端末間直接通信規格を用いることができる。以下において、端末間直接通信が確立されることを「ペアリング」と呼ぶことがある。端末装置400aは、配信サーバ200から取得した補強階層データEを端末間直接通信により端末装置400bに転送する。
なお、端末装置400aから端末装置400bに対して端末間直接通信によりデータ転送を実施する場合について説明するが、端末装置400aと端末装置400bの役割は逆でもよい。また、図1では、2台の端末装置間でデータ転送を行う場合の構成を示しているが、データ転送を実施する端末は何台でも構わない。
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200からネットワーク300を介して取得した基本階層データBと端末装置400aから端末間直接通信により取得した補強階層データEとを組み合わせて復号及び再生する。
ここで、端末装置400において、基本階層データB及び補強階層データEを組み合わせて復号及び再生する場合の符号化ビットレートについて説明する。
階層符号化器100から出力される階層符号化データである映像ストリームにおいて、基本階層データBの符号化ビットレートが3Mbpsであり、補強階層データEの符号化ビットレートが1Mbpsであるとする。
端末装置400aは、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
端末装置400bは、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得し、補強階層データEを端末装置400aから端末間直接通信により取得し、それらを合成した4Mbps(=3Mbps+1Mbps)の映像を再生する。
このように、基本階層データB及び補強階層データEを組み合わせて復号及び再生することにより、高品質な映像再生が可能である。
但し、端末装置400bは、無線干渉等の環境要因によって端末間直接通信が不可になった場合、端末装置400bから補強階層データEを取得できず、配信サーバ200から取得した基本階層データBを復号及び再生する。
これにより、端末装置400bにおいて、端末間直接通信が不可になった場合、画質の劣化は許容するものの、映像再生が途切れることを回避できる。
インセンティブ管理サーバ500は、データ転送を実施した端末装置400aに対して付与するインセンティブを決定し、端末装置400aに対してインセンティブを付与する処理を行う。
例えば、インセンティブ管理サーバ500は、転送した補強階層データの符号化ビットレートや、補強階層データを転送した時間に応じて、インセンティブの量を決める。インセンティブの一例としては、映像サービス利用料金のディスカウントが挙げられる。
端末装置400aは、端末装置400aに比べて多くのデータを配信サーバ200から取得する必要があり、端末装置400aに比べて通信コストの負担が大きい。このため、この通信コスト負担を補うに価するインセンティブを端末装置400aに提供することで、端末装置400間の不公平感を解消する。
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。図2は、本実施形態に係る端末装置400の構成を示す図である。
図2に示すように、端末装置400は、ネットワーク通信インターフェース部410と、端末間直接通信インターフェース部420と、ユーザインターフェース部430と、記憶部440と、処理部450とを有する。
ネットワーク通信インターフェース部410は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部410は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信又はセルラ通信等の無線通信を行う無線通信モジュールを含んでもよい。
端末間直接通信インターフェース部420は、他の端末装置に無線で接続する。端末間直接通信インターフェース部420は、端末間直接通信を行うことが可能な無線通信モジュール、例えば、Wi-Fiダイレクト規格、ブルートゥース(登録商標)規格、セルラD2D通信規格等に準拠する無線通信モジュールを含んでもよい。
ユーザインターフェース部430は、端末装置400のユーザとのインターフェースを構成する。ユーザインターフェース部430は、映像を表示する表示部、音声を出力する音声出力部、ユーザ操作を受け付ける操作部等を含む。
記憶部440は、処理部450により実行されるプログラムと、処理部450による処理に用いられる情報を記憶する。記憶部440は、揮発性メモリ及び不揮発性メモリを含んでもよい。
処理部450は、記憶部440に記憶されたプログラムを実行することにより、端末装置400における各種の処理及び制御を行う。本実施形態において、処理部450は、ネットワーク通信制御部451と、端末間直接通信制御部452と、ストリーム取得部453と、補強階層データ転送部454と、再生処理部455とを有する。
ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を制御する。また、ネットワーク通信制御部451は、ネットワーク通信インターフェース部410を介して配信サーバ200及びインセンティブ管理サーバ500との通信を行う。
端末間直接通信制御部452は、端末間直接通信インターフェース部420を制御する。また、端末間直接通信制御部452は、端末間直接通信インターフェース部420を介して他の端末装置との通信を行う。
ストリーム取得部453は、基本階層データB及び補強階層データEを取得する。本実施形態において、ストリーム取得部453は、基本階層データ取得部453aと、補強階層データ取得部453bとを有する。本実施形態において、補強階層データ取得部453bは、第1補強階層データ取得部に相当する。
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
補強階層データ取得部453bは、端末装置400が図1に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データEを取得する。
一方、端末装置400が図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データEを取得する。
本実施形態において、補強階層データ転送部454は、図1に示す端末装置400aに設けられる。補強階層データ転送部454は、補強階層データ取得部453bが取得した補強階層データEを、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと補強階層データ取得部453bが取得した補強階層データEとを組み合わせて復号及び再生する。再生処理部455は、階層復号部455aと、再生部455bとを有する。
階層復号部455aは、基本階層データB及び補強階層データEを復号するとともに、基本階層データB及び補強階層データEを合成して1つの映像ストリームを再生部455bに出力する。
再生部455bは、階層復号部455aから出力された映像ストリームを再生する。ユーザインターフェース部430に表示部が含まれる場合、再生部455bは、この表示部に映像を表示させてもよい。再生部455bは、端末装置400の外部の表示部に映像を表示させてもよい。
端末装置400が図1に示す端末装置400bである場合、補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データEを取得できない場合がある。
再生処理部455は、端末間直接通信が不可になった場合、配信サーバ200から取得される基本階層データBを復号及び再生する。具体的には、階層復号部455aは、基本階層データBのみを復号して映像ストリームを再生部455bに出力し、再生部455bは、階層復号部455aから出力された映像ストリームを再生する。
(インセンティブ管理サーバの構成)
次に、本実施形態に係るインセンティブ管理サーバ500の構成について説明する。図3は、本実施形態に係るインセンティブ管理サーバ500の構成を示す図である。
図3に示すように、インセンティブ管理サーバ500は、ネットワーク通信インターフェース部510と、記憶部520と、処理部530とを有する。
ネットワーク通信インターフェース部510は、ネットワーク300に有線又は無線で接続する。ネットワーク通信インターフェース部510は、イーサネット(登録商標)等の有線通信を行う有線通信モジュールを含んでもよいし、無線LAN通信等の無線通信を行う無線通信モジュールを含んでもよい。
記憶部520は、処理部530により実行されるプログラムと、処理部530による処理に用いられる情報を記憶する。記憶部520は、揮発性メモリ及び不揮発性メモリを含んでもよい。
処理部530は、記憶部520に記憶されたプログラムを実行することにより、インセンティブ管理サーバ500における各種の処理及び制御を行う。処理部530は、ペアリング管理部531と、データ転送管理部532と、インセンティブ決定部533とを有する。
ペアリング管理部531は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間のペアリング状況を管理する。
データ転送管理部532は、ネットワーク通信インターフェース部510を介して各端末装置400との通信を行うことにより、端末装置400間の補強階層データEの転送状況を管理する。
また、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400aから取得する。或いは、データ転送管理部532は、端末装置400aから端末装置400bへの補強階層データEの転送状況を端末装置400bから取得してもよい。補強階層データEの転送状況とは、他の端末装置への補強階層データEの転送時間や転送データ量等の指標をいうが、他の端末装置への貢献度合を示す指標であればどのような指標であってもよい。
インセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。インセンティブの決定方法の一例を図4(a)に示す。インセンティブ決定部533は、データ転送を実施したデータ量に比例したインセンティブを付与する。具体的には、インセンティブ決定部533は、より多くのデータ量のデータ転送を実施した端末装置400aに対してより多くのインセンティブを付与する。
例えば、インセンティブ決定部533は、端末装置400aが10GB分のデータ転送を実施した場合、映像サービス利用料金の映像1本分の無料視聴サービスを提供する等が挙げられる。インセンティブ決定部533は、映像サービス利用料をポイント制として管理し、ポイントとしてインセンティブを付与してもよい。
インセンティブ決定部533は、端末装置400bが再生する映像データの符号化ビットレートから体感品質を判定し、当該判定した体感品質に基づいてインセンティブを決定してもよい。インセンティブ決定部533は、端末装置400bが再生する映像データの内容(種別)も考慮して体感品質を判定してもよい。
図4(b)に示すように、映像の符号化ビットレートと体感品質とは非線形関係にあり、符号化ビットレートを増加させても必ずしも体感品質が大きく向上するとは限らず、且つ体感品質は視聴する映像素材ごとによっても異なる。体感品質が向上しないにも拘わらずデータ転送を実施して符号化ビットレートを増加させることは不要であるため、インセンティブ決定部533は、インセンティブ量を体感品質の向上度を考慮して決定することが好ましい。
(ストリーミング配信システムの動作例)
次に、本実施形態に係るストリーミング配信システム1の動作例について説明する。
(1)動作例1
図5は、本実施形態に係るストリーミング配信システム1の動作例1を示す図である。
図5に示すように、ステップS101において、端末装置400bのネットワーク通信制御部451は、端末装置400aによるデータ転送の提供可否の状況をインセンティブ管理サーバ500から取得する。
ステップS102において、端末装置400bのネットワーク通信制御部451は、端末間直接通信により端末装置400aから補強階層データEの映像ストリームを取得することをインセンティブ管理サーバ500に要求する。
ステップS103において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aからの要求に応じて、端末装置400bによるデータ転送の要求状況を端末装置400aに通知する。端末装置400aのネットワーク通信制御部451は、端末装置400bによるデータ転送の要求状況をインセンティブ管理サーバ500から取得する。
ステップS104において、端末装置400aのネットワーク通信制御部451は、端末装置400bにより要求されている補強階層データEの映像ストリームを提供する申出をインセンティブ管理サーバ500に対して行う。
ステップS105において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、相互にペアリングを行い、端末間直接通信を可能にする。
なお、端末間直接通信制御部452は、端末装置400aにおいて転送中止の申出があった場合、又は端末装置400bにおいて転送データの取得中止の申出があった場合、端末間直接通信を切断し、ペアリングを解除する。また、端末間直接通信制御部452は、電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された場合もペアリングを解除する。
ステップS106において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。同様に、ステップS107において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが開始された旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bがペアリングされことを記憶する。
ステップS108において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400bに補強階層データEの映像ストリームを転送するように端末装置400aに指示する。
ステップS109において、インセンティブ管理サーバ500のデータ転送管理部532は、端末装置400aから補強階層データEの映像ストリームを取得するように端末装置400bに指示する。
ステップS110において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
ステップS111において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
ステップS112において、端末装置400aの補強階層データ転送部454は、配信サーバ200から取得した補強階層データEの映像ストリームを端末間直接通信により端末装置400bに転送する。
ステップS113において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
ステップS114において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBと端末装置400aから取得した補強階層データEとを組み合わせて復号及び再生する。
ステップS110乃至S114の動作は、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生するまで繰り返される。
ステップS115において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
ステップS116において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
(2)動作例2
図6は、本実施形態に係るストリーミング配信システム1の動作例2を示す図である。本動作例では、動作例1で説明したような補強階層データEの映像ストリームの転送が開始された後、ペアリングが解除される場合について説明する。
図6に示すように、ステップS131乃至ステップS135の動作は、上述した動作例1と同様である。
ここで、1)端末装置400aにおいて転送中止の申出があった、2)端末装置400bにおいて転送データの取得中止の申出があった、3)電波状況の劣化等に伴い端末間直接通信が切断されたことが検知された、のいずれかの事象が発生したものとする。
ステップS136において、端末装置400a及び400bのそれぞれの端末間直接通信制御部452は、ペアリングを解除し、端末間直接通信が不可になる。
ステップS137において、端末装置400aのネットワーク通信制御部451は、端末装置400bとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。同様に、ステップS138において、端末装置400bのネットワーク通信制御部451は、端末装置400aとのペアリングが終了した旨をインセンティブ管理サーバ500に通知する。インセンティブ管理サーバ500のペアリング管理部531は、端末装置400a及び400bのペアリングが終了したことを記憶する。
ステップS139において、端末装置400aの補強階層データ転送部454は、端末装置400bに対する補強階層データEの映像ストリームの転送状況をインセンティブ管理サーバ500に通知する。
ステップS140において、インセンティブ管理サーバ500のインセンティブ決定部533は、端末装置400aから端末装置400bへの補強階層データEの映像ストリームの転送状況に基づいて、端末装置400aに対して付与するインセンティブを決定する。
ステップS141において、端末装置400aのストリーム取得部453は、基本階層データB及び補強階層データEのそれぞれの映像ストリームを配信サーバ200から取得する。
ステップS142において、端末装置400bのストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200から取得する。
ステップS143において、端末装置400aの再生処理部455は、配信サーバ200から取得した基本階層データB及び補強階層データEを組み合わせて復号及び再生する。
ステップS144において、端末装置400bの再生処理部455は、配信サーバ200から取得した基本階層データBを復号及び再生する。
(端末装置の動作)
次に、本実施形態に係る端末装置400a及び400bの動作例について説明する。
(1)端末装置400aの動作例
図7は、本実施形態に係る端末装置400aの動作例を示す図である。
図7に示すように、ステップS201において、ネットワーク通信制御部451は、端末装置400a付近に、端末間直接通信によるデータ転送を要求している端末装置400bが存在するかをインセンティブ管理サーバ500に確認し、データ転送要求状況をインセンティブ管理サーバ500から取得する。
ステップS202において、ネットワーク通信制御部451は、ユーザがデータ転送要求状況を見て、ストリーム提供を発意したとき、端末間直接通信により端末装置400bに映像ストリームを提供することをインセンティブ管理サーバ500に申し出る。
ステップS203において、端末間直接通信制御部452は、端末装置400bとのペアリングを行い、端末間直接通信を可能にする。そして、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
ステップS204において、ストリーム取得部453は、基本階層データB及び補強階層データEを配信サーバ200からネットワーク300経由で取得する。
ステップS205において、補強階層データ転送部454は、補強階層データEを端末装置400bに提供し、同時に提供した時間やデータ量等のデータ転送状況を計測する。なお、データ転送状況は端末装置400bへの貢献度合が測られる指標であれば異なる指標でもよい。
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視する。ペアリングが継続していれば、補強階層データ転送部454は、データ転送を継続する。一方、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合、端末間直接通信制御部452は、ペアリングを解除する。
ステップS206において、ネットワーク通信制御部451は、データ転送状況をインセンティブ管理サーバ500に通知する。
一方、ステップS207において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データB及び補強階層データEを復号する。
ステップS208において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
ステップS209において、再生処理部455は、映像ストリームを再生する。
(2)端末装置400bの動作例
図8は、本実施形態に係る端末装置400bの動作例を示す図である。
図8に示すように、ステップS301において、ネットワーク通信制御部451は、端末装置400b付近に、端末間直接通信による映像ストリームを提供している端末装置400aが存在するかインセンティブ管理サーバ500に確認し、データ転送提供状況を取得する。
ステップS302において、ネットワーク通信制御部451は、端末装置400bのユーザがデータ転送提供状況を見て、データ取得を発意したとき、端末間直接通信により端末装置400aから映像ストリームを取得することをインセンティブ管理サーバ500に申し出る。
ステップS303において、端末間直接通信制御部452は、端末装置400aとペアリングし、端末間直接通信を可能にする。また、ネットワーク通信制御部451は、ペアリング状況をインセンティブ管理サーバ500に通知する。
ステップS304において、ストリーム取得部453は、基本階層データBの映像ストリームを配信サーバ200からネットワーク300経由で取得する。
ステップS305において、ストリーム取得部453は、補強階層データEの映像ストリームを、端末装置400aから端末間直接通信により取得する。
ここで、端末間直接通信制御部452は、ペアリングが継続しているか否かを監視し、ペアリングが継続していれば、転送データの取得を継続する。一方、端末間直接通信制御部452は、端末装置400bのユーザによるペアリングの離脱申出があった場合や、電波状況の劣化等に伴い端末間直接通信が切断された場合は、ペアリングを解除する。
ステップS306において、ネットワーク通信制御部451は、端末装置400aとのペアリングを解除したことをインセンティブ管理サーバ500に通知する。
一方、ステップS307において、再生処理部455は、配信サーバ200からネットワーク300経由で取得した基本階層データBと、端末装置400aから端末間直接通信により取得した補強階層データEとを復号する。
ステップS308において、再生処理部455は、復号した基本階層データB及び補強階層データEの映像ストリームを合成し、1つの映像ストリームに変換する。
ステップS309において、再生処理部455は、映像ストリームを再生する。
(第1実施形態のまとめ)
第1実施形態によれば、基本階層データBを低品質映像、補強階層データEを高品質映像のうち基本階層データ以外のデータとする階層符号化を用いている。そして、端末間直接通信の活用により、端末装置400aが配信サーバ200から取得した補強階層データEを端末装置400bに転送することにより、ネットワーク300の輻輳やキャッシュサーバの混雑に起因する利用可能帯域の低下の影響を抑制できる。また、基本階層データBを端末装置400bに配信することにより、端末間直接通信が不可になった場合においても、画質劣化は許容するものの端末装置400bでの映像の途切れを回避できる。
さらに、端末間直接通信を行う端末装置400aには通信コスト負担を補うに価するインセンティブを提供することで、不公平感を解消した。これにより、端末間直接通信を利用した映像配信サービスの使い勝手に関するユーザ満足度を向上させることができる。
<第2実施形態>
次に、第2実施形態について、第1実施形態との相違点を主として説明する。
(ストリーミング配信システムの構成)
図9は、本実施形態に係るストリーミング配信システム1の構成を示す図である。
図9に示すように、階層符号化器100は、基本階層データBと補強階層データE1と補強階層データE2とを配信サーバ200に出力する。本実施形態において、補強階層データE1は第1補強階層データに相当し、補強階層データE2は第2補強階層データに相当する。
このように、本実施形態においては、互いに異なる2つの補強階層データE1及びE2を用いる。2つの補強階層データE1及びE2のそれぞれのデータ量は、例えば第1実施形態に係る補強階層データEの半分程度であってもよい。
配信サーバ200は、基本階層データB及び補強階層データE1を端末装置400aに配信するとともに、基本階層データB及び補強階層データE2を端末装置400bに配信する。なお、本実施形態において、端末装置400bの利用可能帯域は、端末装置400aの利用可能帯域と同等であってもよい。
端末装置400aは、配信サーバ200から取得した補強階層データE1を端末間直接通信により端末装置400bに転送する。端末装置400bは、配信サーバ200から取得した補強階層データE2を端末間直接通信により端末装置400aに転送する。このように、本実施形態においては、端末装置400a及び400bは補強階層データの転送を双方向に行う。
端末装置400aは、配信サーバ200から取得した基本階層データB及び補強階層データE1と、端末装置400bから端末間直接通信により取得した補強階層データE2とを組み合わせて復号及び再生する。一方、端末装置400bは、配信サーバ200から取得した基本階層データB及び補強階層データE2と、端末装置400aから端末間直接通信により取得した補強階層データE1とを組み合わせて復号及び再生する。
(階層符号化の例)
次に、本実施形態に係る階層符号化の例について説明する。本実施形態において、階層符号化器100は、第1実施形態に係る補強階層データEを補強階層データE1及びE2に分離する(すなわち、E=E1+E2)。
(1)時間階層符号化
図10は、時間階層符号化を用いた階層符号化の例を示す図である。
図10に示すように、基本階層データBは、映像フレーム内の画素値のみを符号化するIフレームと、前方の映像フレームとの差分を符号化するPフレームとから構成される。基本階層データB内の、Iフレーム数とPフレーム数の割合は適宜変更して構わない。サンプル時刻kのデータを
B(k); k=5N, N:0又は自然数
と表記する。
補強階層データEは、前方と後方の両映像フレームとの差分を符号化するBフレームから構成される。奇数サンプル時刻kのデータを
E1(k); k=5N+2M+1, N:0又は自然数,M:0又は1
と表記し、偶数サンプル時刻kのデータを
E2(k); k=5N+2M+2, N:0又は自然数,M:0又は1
と表記する。
基本階層データB(k)のみを復号することで映像再生は可能であるが、補強階層データE1(k)やE2(k)を組み合わせて復号し、基本階層データB(k)と合成することで、より高いフレームレートの映像再生が可能となる。
なお、基本階層データB(k)と補強階層データE1(k)、E2(k)とを分離するサンプル時刻は前記の例に限らず、
B(k); k=7N, N:0又は自然数
E1(k); k=7N+2M+1, N:0又は自然数,M:0、1又は2
E2(k); k=7N+2M+2, N:0又は自然数,M:0、1又は2
等であっても構わない。
また、基本階層データB(k)がIフレームから構成され、補強階層データE1(k)、E2(k)がPフレームとBフレームから構成されるとしてもよい。
(2)空間階層符号化
図11は、空間階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データのうち水平周波数と垂直周波数共に低周波成分から構成される。補強階層データEの分離方法として図11(a)及び図11(b)の2例を示す。
図11(a)に示す第1の例において、補強階層データE1は、基本階層データ以外の映像データのうち中周波成分の領域から構成される。補強階層データE2は、基本階層データ及び補強階層データE1以外の映像データの高周波成分の領域から構成される。
図11(b)に示す第2の例において、補強階層データE1は、基本階層データ以外の映像データのうち垂直周波数の高周波成分の領域から構成される。補強階層データE2は、基本階層データ以外の映像データのうち水平周波数の高周波成分の領域から構成される。
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を併せて復号し基本階層データBと合成することで、より高い周波数成分のデータを持つ映像再生が可能となる。
図11(b)に示す第2の例は、図11(a)に示す第1の例よりも次の点で優れている。具体的には、図11(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間の周波数の補強階層データE1が抜けているため、不自然な絵柄になる。一方、図11(b)に示す第2の例によれば、そのような不具合を抑制できる。
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となる周波数は適宜変更して構わない。また、補強階層データEの分離方法は図11(a)及び図11(b)に示す方法以外でもよい。
(3)SNR階層符号化
図12は、SNR階層符号化を用いた階層符号化の例を示す図である。基本階層データBは、映像データの画素値のうち最上位ビットに近いビットから構成される。補強階層データEの分離方法として図12(a)及び図12(b)の2例を示す。
図12(a)に示す第1の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち上位のビットから構成される。補強階層データE2は、基本階層データ及び補強階層データE1を構成する画素値のビット以外の最下位のビットに近いビットから構成される。
図12(b)に示す第2の例において、補強階層データE1は、基本階層データを構成する画素値のビット以外のうち低周波数成分の領域から構成される。補強階層データE2は、基本階層データを構成する画素値のビット以外のうち高周波成分の領域から構成される。
基本階層データBのみを復号することで映像再生は可能であるが、補強階層データE1やE2を組み合わせて復号し、基本階層データBと合成することで、より高い量子化の精度のデータを持つ映像再生が可能となる。
図12(b)に示す第2の例は、図12(a)に示す第1の例よりも次の点で優れている。具体的には、図12(a)に示す第1の例において、基本階層データBと補強階層データE2とを復号及び再生する場合、中間のビットの補強階層データE1が抜けているため、不自然な絵柄になる。一方、図12(b)に示す第2の例によれば、そのような不具合を抑制できる。
なお、基本階層データBと、補強階層データE1と、補強階層データE2とを分離する閾値となるビット数は適宜変更して構わない。また、補強階層データEの分離方法は図12(a)及び図12(b)に示す方法以外でもよい。
(端末装置の構成)
次に、本実施形態に係る端末装置400の構成について説明する。図13は、本実施形態に係る端末装置400の構成を示す図である。
図13に示すように、本実施形態に係る端末装置400において、ストリーム取得部453は、基本階層データBと補強階層データE1と補強階層データE2とを取得する。具体的には、ストリーム取得部453は、基本階層データ取得部453aと、第1補強階層データ取得部453bと、第2補強階層データ取得部453cとを有する。
基本階層データ取得部453aは、ネットワーク通信インターフェース部410を介して、配信サーバ200から基本階層データBを取得する。
第1補強階層データ取得部453bは、端末装置400が図9に示す端末装置400aである場合、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE1を取得する。
一方、端末装置400が図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して、端末装置400aから補強階層データE2を取得する。
第2補強階層データ取得部453cは、端末装置400が図9に示す端末装置400aである場合、端末間直接通信インターフェース部420を介して、端末装置400bから補強階層データE2を取得する。
一方、端末装置400が図9に示す端末装置400bである場合、第2補強階層データ取得部453cは、ネットワーク通信インターフェース部410を介して、配信サーバ200から補強階層データE2を取得する。
本実施形態において、補強階層データ転送部454は、図9に示す端末装置400a及び400bの双方に設けられる。
補強階層データ転送部454は、端末装置400が図9に示す端末装置400aである場合、第1補強階層データ取得部453bが取得した補強階層データE1を、端末間直接通信インターフェース部420を介して端末装置400bに転送する。
一方、端末装置400が図9に示す端末装置400bである場合、補強階層データ転送部454は、第2補強階層データ取得部453cが取得した補強階層データE2を、端末間直接通信インターフェース部420を介して端末装置400aに転送する。
再生処理部455は、基本階層データ取得部453aが取得した基本階層データBと第1補強階層データ取得部453bが取得した補強階層データE1と第2補強階層データ取得部453cが取得した補強階層データE2とを組み合わせて復号及び再生する。
端末装置400が図9に示す端末装置400aである場合、第2補強階層データ取得部453cは、端末間直接通信インターフェース部420を介して端末装置400bから補強階層データE2を取得できない場合がある。端末装置400aにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE1を組み合わせて復号及び再生する。
端末装置400が図9に示す端末装置400bである場合、第1補強階層データ取得部453bは、端末間直接通信インターフェース部420を介して端末装置400aから補強階層データE1を取得できない場合がある。端末装置400bにおいて、再生処理部455は、端末間直接通信が不可になった場合、基本階層データB及び補強階層データE2を組み合わせて復号及び再生する。
なお、本実施形態におけるストリーミング配信システム1の動作については、第1実施形態に係る片方向の補強階層データ転送を双方向で行えばよく、基本的な動作については第1実施形態と同様である。
(第2実施形態のまとめ)
第2実施形態によれば、端末装置400aが基本階層データB及び補強階層データE1を配信サーバ200から取得するため、第1実施形態に比べて、端末装置400aがネットワーク300経由で取得すべきデータ量の削減を図り、端末装置400a及び400b間の不公平感を解消できる。
また、端末装置400bが補強階層データE2を配信サーバ200から取得しているため、端末間直接通信が不可になった場合であっても、端末装置400bは、第1実施形態に比べて高画質な映像を再生可能である。
<その他の実施形態>
上述した実施形態において、基本階層データ及び補強階層データのそれぞれが映像データである一例について説明した。しかしながら、基本階層データを音声データとし、補強階層データを映像と音声の両方を持つ映像データとしてもよい。
上述した第1及び第2実施形態を使い分けてもよい。例えば、インセンティブ管理サーバ500は、端末装置400a及び400bのそれぞれの利用可能帯域に基づいて、第1実施形態に係る動作と第2実施形態に係る動作とを切り替えて用いてもよい。
端末装置400が行う各処理をコンピュータに実行させるプログラム及びインセンティブ管理サーバ500が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。コンピュータは、プログラムに従って演算処理を行うものであればどのようなものであってもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
また、端末装置400が行う各処理を実行する機能部(回路)を集積化し、端末装置400を半導体集積回路(チップセット、SoC)として構成してもよい。
以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。