JP6148638B2

JP6148638B2 - 映像再生状態推定装置及び方法及びプログラム

Info

Publication number: JP6148638B2
Application number: JP2014103567A
Authority: JP
Inventors: 太一河野; 山本　浩司; 浩司山本; 恵竹下
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-05-19
Filing date: 2014-05-19
Publication date: 2017-06-14
Anticipated expiration: 2034-05-19
Also published as: JP2015220640A

Description

本発明は、映像再生状態推定装置及び方法及びプログラムに係り、特に、ネットワーク経由で配信される映像の再生状態を推定するための映像再生状態推定装置及び方法及びプログラムに関する。

近年、ネットワークを介した映像配信サービスが普及している。映像を配信する方式は様々なものが存在するが、オンデマンド配信においてはTCP(Transmission Control Protocol)などの再送制御を含むプロトコルを用いて映像の配信を行うプログレッシブダウンロード型の映像配信サービスが主流になっている。

プログレッシブダウンロード型の映像配信サービスでは、映像ファイルをダウンロードしながら、同時にダウンロードした映像ファイルの再生を行う方式であるが、ネットワークの遅延などにより、再生にダウンロードが追いつかない場合、再生するために必要な映像ファイルが十分にダウンロードされるまで再生を停止する。映像配信サービスにおいて、再生停止が収益を下げる主要因の１つであることが示唆されており（例えば、非特許文献１参照）、映像配信サービス事業者にとっては、再生停止を抑制するような配信を行うことが重要である。

再生停止を抑制するためには、ネットワークのデータ伝送量を増やすか、配信する映像のデータ量を減らすかのアプローチが考えられる。映像配信サービス事業者の立場で考えると、前者を行うことは困難であり、映像符号化技術を用いて配信する映像ファイルをデータ圧縮することが一般的である。しかしながら、圧縮率を高める(符号化ビットレートを下げる)と映像の画質が低下してしまうため、最適な映像符号化を行う必要がある。最適な映像符号化を行うためには、符号化ビットレートと再生状態の関係を把握することが必要であり、再生状態を推定する技術が求められる。

従来、非特許文献２において、パケットのキャプチャデータから再生状態を推定する技術が記載されている。

CONVIVA, "Viewer Experience Report," 2013. 池上大介,本多泰理,山本浩司：「チャンク型映像配信サービスにおける再生状態推定法の検討」,電子情報通信学会総合大会、2012年3月．

しかしながら、非特許文献２に記載の技術は、キャプチャしたパケットを入力情報としているために、実際に配信を行わないと情報が得られず、配信前の再生状態を推定できない。再生停止を抑制するための配信制御を行うためには、配信前に再生状態を推定する必要がある。

本発明は、上記に鑑みてなされたもので、配信前に、再生停止状態を推定することが可能な映像再生状態推定装置及び方法及びプログラムを提供することを目的とする。

一態様によれば、プログレッシブダウンロード型の映像配信サービスにおいて、映像の再生状態を推定する映像再生状態推定装置であって、
映像ファイルのダウンロード開始から完了までの単位時間当たりのデータ伝送量（以下、「スループット」と記す）の平均（以下、「スループット平均」と記す）TAとスループットの標準偏差（以下、「スループット標準偏差」と記す）TS、符号化ビットレートBR、映像デュレーションDR、映像を再生するソフトウェアに具備されているダウンロードした映像を蓄積する記憶領域(以下、「バッファ」と記す)において、再生と停止を切り替える基準となるしきい値である再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STからモデル式を基に、再生開始後に発生する再生停止回数（以下、「推定再生停止回数」と記す）SCと再生停止回数毎の再生停止時間の平均(以下、「推定再生停止時間」と記す)SLを算出する再生状態推定手段を有する映像再生状態推定装置が提供される。

一態様によれば、プログレッシブダウンロード型の映像配信サービスにおいて、映像を配信する前に映像配信サービス事業者が得られる情報から再生状態を推定することが可能となり、再生停止を抑制するような配信制御が可能になる。また、再生停止を抑制することにより、映像配信サービスの顧客満足度を高めることが可能となり、収益向上に寄与することが期待できる。

スループットが一定の場合のバッファ量の推移と再生開始、停止、再開の関係を示す図。 (9)式と再生停止時間の関係を示す図。 (12)式と再生停止回数の関係を示す図。本発明の一実施の形態における映像再生状態推定装置の構成例。本発明の一実施の形態における映像再生状態推定装置の処理フロー。

以下、図面と共に本発明の実施の形態を説明する。

本発明は、プログレッシブダウンロード型の映像配信サービスを対象に、映像配信サービス事業者が得られる情報から再生状態を推定するものである。ここで映像配信サービス事業者が得られる情報とは、スループット平均TAとスループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT(詳細については後述する)、再生再開しきい値RT(詳細については後述する)、再生停止しきい値ST(詳細については後述する)を示す。なお、スループット平均TAとスループット標準偏差TSは、過去の統計情報を用いる。推定する再生状態とは、推定再生停止回数SCと推定再生停止時間SLを示す。

まず、再生停止の仕組みについて説明する。映像を再生するアプリケーションは、映像データを蓄えるバッファ（図示せず）を有する。ダウンロードされた映像データはバッファに蓄積され、映像が再生されると同時に再生した分の映像データがバッファから除かれる。バッファには再生開始しきい値IT、再生停止しきい値ST、再生再開しきい値RTが設定されている（ただし、再生開始しきい値IT≧再生再開しきい値RT＞再生停止しきい値ST）。スループットが一定の場合のバッファに蓄積されたデータ伝送量（以下、「バッファ量」と記す）の推移と再生開始、停止、再開の関係を図１に示す。映像配信が開始されると映像データがバッファに蓄積される。バッファ量が再生開始しきい値ITに達した時点で、映像が再生される。再生された後はバッファ量が再生停止しきい値STまで下がった場合にのみ再生が停止し、停止後はバッファ量が再生再開しきい値RTに達した時点で再生が再開する。

また、再生開始、停止、再開の判断は図１のようにしきい値に達するかどうかが基準であり、図１の縦軸（バッファ量）や横軸（時間）を乗算、除算しても推定再生停止回数SC及び推定再生停止時間SLは不変である。この性質を利用し、バッファ量と時間を正規化することができる。任意の映像のファイルサイズを定数FSc、任意の映像デュレーションDRを定数DRcとしたときに、バッファ量をFSc/(DR×BR)、時間をDRc/DRで除算し正規化すると、正規化映像デュレーションNDRは、

となり、正規化符号化ビットレートNBRは、

となり、正規化スループット平均NTAは、

となり、正規化スループット標準偏差NTSは、

となり、正規化再生開始しきい値NITは、

となり、正規化再生停止しきい値NSTは、

となり、正規化再生再開しきい値NRTは、

となる。 (1) 式及び (2) 式が示すように正規化することにより、映像デュレーションDRと符号化ビットレートBRは定数としてモデル化することができる。

次に、ダウンロードのスループットが一定と仮定した場合の推定再生停止回数SCと推定再生停止時間SLの算出方法を説明する。再生開始時点でダウンロードが未完のデータ量はNDR・NBR−NITであり、再生開始から全てデータのダウンロードが完了するまでの時間は

となる。この時間が正規化映像デュレーションNDRより長い場合、推定再生停止時間SLは以下のように算出できる。

また、再生中のバッファ量の単位時間あたりの減少量はNBR−NTAとなり、再生開始から１回目の再生停止までの時間は、

となる。なお、正規化スループット平均NTAが正規化符号化ビットレートNBR以上の場合は、再生停止は発生しない。また、再生開始から１回目の再生停止までの時間が正規化映像デュレーションNDR以上である場合も再生停止は発生しない。また、再生再開から再生停止するまでの時間は

となる。これらから推定再生停止回数SCは以下のように算出できる。

図２に (9) 式と推定再生停止時間SLの関係を示す。グラフの違いは正規化スループット標準偏差NTS／正規化スループット平均NTAの違いである。グラフが示す通り、(9)式と推定再生停止時間SLの関係は双曲線の関係がある。また、双曲線の丸みが、NTS／NTAに依存しているのがわかる。よって、(9)式と推定再生停止時間SLの双曲線をNTS／NTAで補正することで、モデル化することができる。

また、図３に(12)式と推定再生停止回数SCの関係を示している。グラフの違いはNTS／NTAの違いである。グラフが示す通り、(12)式と推定再生停止時間SLの関係は双曲線の関係がある。また、双曲線の丸みが、NTS／NTAに依存しているのがわかる。一方、(12)式と推定再生停止時間SLの関係は、図２と比較すると、NTS／NTA毎のプロット点がばらけていることがわかる。これは(正規化再生再開しきい値NRT−正規化再生停止しきい値NST)の違いによるものである。よって、(12)式と推定再生停止回数SCの双曲線をNTS／NTAと(NRT−NST)で補正することで、モデル化することができる。

これらのモデルを用いることで、スループット平均TA、スループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STから、推定再生停止回数SCと推定再生停止時間SLを推定することができる。

上記の考え方に基づいて、以下に本発明の映像再生状態推定装置について説明する。

映像再生状態推定装置は、プログレッシブダウンロード型の映像配信サービスを対象に、映像配信サービス事業者が得られる情報から再生状態を推定する。プログレッシブダウンロード型の映像配信サービスにおいて、映像ファイルのダウンロード開始から完了までのスループット平均TAとスループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STからモデル式を基に、推定再生停止回数SCと推定再生停止時間SLを算出する点が特徴となる。

図４は、本発明の一実施の形態における映像再生状態推定装置の構成例を示す。

同図に示す映像再生状態推定装置１００は、正規化部１１０、再生停止回数推定部１２０、再生停止時間推定部１３０、非正規化部１４０を有する。

映像再生状態推定装置１００は、スループット平均TA、スループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STを入力パラメータとし、推定再生停止回数SC、推定再生停止時間SLを出力とする。ここで、スループット平均TA及びスループット標準偏差TSは、過去の統計値もしくは既存のスループット推定技術で得られる推定値を用いる。

また、映像を再生するソフトウェアには、配信された映像を蓄積する記憶装置（バッファ）を有しており、バッファ内のデータ伝送量（バッファ量）に応じて再生や停止の動作を切り替えるしきい値が設定されている。映像の配信要求時のバッファ量は０であり、バッファ量が再生開始しきい値に達した時点で、初めて映像が再生される。映像が再生されると再生された分の映像データがバッファから削除されていき、バッファ量が再生停止しきい値まで下がった場合、再生が停止する。再生の再開は、バッファ量が再生再開しきい値に達した時点で行われる。

映像再生状態推定装置１００の概要処理を以下に示す。

図５は、本発明の一実施の形態における映像再生状態推定装置１００の処理フローを示す。

ステップ１０１）正規化部１１０は、入力されたスループット平均TA、スループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STから、正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTを算出し、再生停止回数推定部１２０及び再生停止時間推定部１３０へ入力する。

ステップ１０２）次に、再生停止回数推定部１２０は、入力された正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTから正規化推定再生停止回数NSCを算出し、非正規化部１４０へ入力する。

ステップ１０３）また、再生停止時間推定部１３０は、入力された正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTから正規化推定再生停止時間NSLを算出し、非正規化部１４０へ入力する。

なお、ステップ１０２とステップ１０３は並列処理でも逐次処理でも構わない。

ステップ１０４）最後に、非正規化部１４０は、再生停止回数推定部１２０から入力された正規化推定再生停止回数NSCから推定再生停止回数SCを算出し、再生停止時間推定部１３０から入力された正規化推定再生停止時間NSLから推定再生停止時間SLを算出し、出力する。

以下に、上記の各ステップについて詳細に説明する。

ステップ１０１において、正規化部１１０は、スループット平均TA、スループット標準偏差TS、符号化ビットレートBR、映像デュレーションDR、再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STを入力とし、正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTを出力とする。任意に定めた映像デュレーションの定数をDRc、映像のファイルサイズの定数をFScとしたときに、出力値は以下のように算出される。

正規化映像デュレーションNDRは、

となり、正規化符号化ビットレートNBRは、

となり、正規化スループット平均NTAは、

となり、正規化スループット標準偏差NTSは、

となり、正規化再生開始しきい値NITは、

となり、正規化再生停止しきい値NSTは、

となり、正規化再生再開しきい値NRTは、

となる。

ステップ１０２において、再生停止回数推定部１２０は、正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTを入力とし、正規化推定再生停止回数NSCを出力とする。正規化推定再生停止回数NSCは以下のように算出される。

ただし、

である。ここで、(25)式のa₁、a₂、a₃、a₄、a₅、a₆、a₇、a₈は定数を表す。これらの定数はシミュレーションもしくは実測で得られる正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTと正規化推定再生停止回数NSCのデータセットを用いて最小二乗法などの最適化により得られる。

ステップ１０３において、再生停止時間推定部１３０は、正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTを入力とし、正規化推定再生停止時間NSLを出力とする。正規化推定再生停止時間NSLは以下のように算出される。

ただし、

である。ここで(28)式のb₁、b₂、b₃、b₄、(29)式のb₅、b₆は定数を表す。これらの定数はシミュレーションもしくは実測で得られる正規化スループット平均NTA、正規化スループット標準偏差NTS、正規化符号化ビットレートNBR、正規化映像デュレーションNDR、正規化再生開始しきい値NIT、正規化再生再開しきい値NRT、正規化再生停止しきい値NSTと正規化推定再生停止時間NSLのデータセットを用いて最小二乗法などの最適化により得られる。

ステップ１０４において、非正規化部１４０は、正規化推定再生停止回数NSC、正規化推定再生停止時間NSLを入力とし、推定再生停止回数SC、推定再生停止時間SLを出力とする。推定再生停止回数SC及び推定再生停止時間SLは以下のように算出される。

ここでEUは、推定する単位を示している。例えば１５秒毎の推定再生停止回数SCや推定再生停止時間SLを算出する場合はEUを15秒に設定する。

上記のようにして求められた推定再生停止回数SCと推定再生停止時間SLについて、最小または０になるように配信制御の設定を行うことや、符号化ビットレートと再生停止状態から、画質と再生停止の両方を加味したユーザ体感品質(QoE)推定技術を本発明と組み合わせてQoEが最大化する制御を行うことが可能となる。

なお、上記の図４に示す映像再生状態推定装置１００の各構成要素の動作をプログラムとして構築し、映像再生状態推定装置１００として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更、応用が可能である。

１００映像再生状態推定装置
１１０正規化部
１２０再生停止回数推定部
１３０再生停止時間推定部
１４０非正規化部

Claims

プログレッシブダウンロード型の映像配信サービスにおいて、映像の再生状態を推定する映像再生状態推定装置であって、
映像ファイルのダウンロード開始から完了までのスループットである単位時間当たりのデータ伝送量の平均（以下、「スループット平均」と記す）TAとスループットの標準偏差（以下、「スループット標準偏差」と記す）TS、符号化ビットレートBR、映像デュレーションDR、映像を再生するソフトウェアに具備されているダウンロードした映像を蓄積する記憶領域(以下、「バッファ」と記す)において、再生と停止を切り替える基準となるしきい値である再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STからモデル式を基に、再生開始後に発生する再生停止回数（以下、「推定再生停止回数」と記す）SCと再生停止回数毎の再生停止時間の平均(以下、「推定再生停止時間」と記す)SLを算出する再生状態推定手段を有する
ことを特徴とする映像再生状態推定装置。
前記再生状態推定手段は、
前記再生開始しきい値IT、前記再生再開しきい値RT、前記再生停止しきい値ST、任意の映像のファイルサイズを定数FSc、任意の映像デュレーションを定数DRcとしたとき、バッファに蓄積するデータ量をFSc/(DR×BR)、時間をDRc/DRで除算し、正規化映像デュレーションNDRを、
により求め、正規化符号化ビットレートNBRを、
により求め、正規化スループット平均NTAを、
により求め、正規化スループット標準偏差NTSを、
により求め、正規化再生開始しきい値NITを、
により求め、正規化再生停止しきい値NSTを、
により求め、正規化再生再開しきい値NRTを、
により求める正規化手段を含む
請求項1記載の映像再生状態推定装置。
前記再生状態推定手段は、
前記正規化スループット平均NTA、前記正規化スループット標準偏差NTS、前記正規化符号化ビットレートNBR、前記正規化映像デュレーションNDR、前記正規化再生開始しきい値NIT、前記正規化再生再開しきい値NRT、前記正規化再生停止しきい値NSTから再生停止回数推定モデル式を基に、正規化推定再生停止回数NSCを算出する再生停止回数推定手段と、
前記正規化スループット平均NTA、前記正規化スループット標準偏差NTS、前記正規化符号化ビットレートNBR、前記正規化映像デュレーションNDR、前記正規化再生開始しきい値NIT、前記正規化再生再開しきい値NRT、前記正規化再生停止しきい値NSTから再生停止時間推定モデル式を基に、正規化推定再生停止時間NSLを算出する再生停止時間推定手段と、
を含む請求項２記載の映像再生状態推定装置。
前記再生状態推定手段は、
前記正規化推定再生停止回数NSCを前記映像デュレーションDRで除算し、事前に指定した評価時間単位を乗算し、推定再生停止回数SCを算出する第1の非正規化手段と、
前記正規化推定再生停止時間NSLを前記正規化映像デュレーションNDRで除算し、事前に指定した評価時間単位を乗算し、推定再生停止時間SLを算出する第２の非正規化手段と、
を含む請求項３記載の映像再生状態推定装置。
前記再生停止回数推定モデル式は、
前記正規化符号化ビットレートNBRと前記正規化スループット平均NTAの差分値を前記正規化映像デュレーションNDRで乗算し、前記再生開始しきい値ITと前記再生再開しきい値RTの差分値で減算し、該再生再開しきい値RTと前記再生停止しきい値STの差分値で除算した値を入力とし、前記正規化スループット標準偏差NTSを前記正規化スループット平均NTAで除算した値と該再生再開しきい値RTと該再生停止しきい値STの差分値で補正した双曲線で表され、
前記再生停止時間推定モデル式は、
前記正規化符号化ビットレートNBRを前記正規化映像デュレーションNDRで乗算し、前記再生開始しきい値ITで減算し、前記正規化スループット平均NTAで除算し、該正規化映像デュレーションNDRで減算した値を入力とし、前記正規化スループット標準偏差NTSを該正規化スループット平均NTAで除算した値で補正した双曲線で表される
請求項３記載の映像再生状態推定装置。
プログレッシブダウンロード型の映像配信において、映像の再生状態を推定する装置における映像再生状態推定方法であって、
映像ファイルのダウンロード開始から完了までのスループットである単位時間当たりのデータ伝送量の平均（以下、「スループット平均」と記す）TAと標準偏差（以下、「スループット標準偏差」と記す）TS、符号化ビットレートBR、映像デュレーションDR、映像を再生するソフトウェアに具備されているダウンロードした映像を蓄積する記憶領域(以下、「バッファ」と記す)において、再生と停止を切り替える基準となるしきい値である再生開始しきい値IT、再生再開しきい値RT、再生停止しきい値STからモデル式を基に、再生開始後に発生する再生停止回数（以下、「推定再生停止回数」と記す）SCと再生停止回数毎の再生停止時間の平均(以下、「推定再生停止時間」と記す)SLを算出する
ことを特徴とする映像再生状態推定方法。
コンピュータを、
請求項１ないし５のいずれか1項に記載の映像再生状態推定装置の各手段として機能させるための映像再生状態推定プログラム。