JP6228906B2 - 映像品質推定装置、方法およびプログラム - Google Patents

Description

この発明は、例えばＩＰ（Internet Protocol）ネットワークを介して配信される映像をユーザが視聴する際の品質（以下映像品質と称する）を推定する映像品質推定装置、方法およびプログラムに関する。

近年、インターネットに代表されるＩＰネットワークを介した映像配信サービスが普及している。しかし、インターネットは必ずしも通信帯域を保証したネットワークではない。このため、映像を配信する場合に、配信サーバとユーザ端末との間のネットワークの通信帯域が狭かったり通信回線が輻輳すると、ユーザ端末が受信した映像を視聴するときにユーザが視聴する品質（映像品質）が低下する場合がある。特に、映像データのダウンロードと並列して映像の再生を行うプログレッシブダウンロード（ＰＤＬ）型の映像配信サービスでは、映像データの再生ビットレート以上の通信帯域を確保できない場合、映像の再生が一時停止してバッファに映像データを蓄積（リバッファリング）する。このため、ユーザの意図とは関係なく映像の再生が間欠的に一時停止し、これが映像品質の低下を招く。この映像品質を適切に管理することは映像配信サービスを維持する上で重要であり、そのためには映像品質を定量化する技術が必要とされる。

映像品質は様々な要因により決定されるが、特に画質と再生停止が主な要因であるとされる（例えば非特許文献１を参照）。このうち画質については、符号化ビットレート、解像度、フレームレート、再生停止回数、再生停止時間から推定する技術が提案されている（例えば非特許文献２を参照）。また、映像の再生停止回数については、通信速度（スループット）から停止回数を推定するモデルが提案されている（例えば非特許文献３を参照）。

CONVIVA, "Viewer Experience Report"，2013. ITU-T Rec. P.1201.1, "Parametric non-intrusive assessment of audiovisual media streaming quality - lower resolution application area," Oct. 2012. 河野太一、竹下 恵、山本浩司、"プログレッシブダウンロード型映像配信サービスを対象とした再生停止回数推定モデル"、信学ソ大、 B-11-27, Sept. 2014.

しかしながら、非特許文献１乃至３に記載された技術には次のような解決すべき課題があった。すなわち、配信対象となる映像コンテンツは、一般に映像の時間長が区々である。ところが、非特許文献１乃至３の何れを見ても、これらの非特許文献に記載された技術は映像の時間長が特定の時間長の映像を対象としており、映像の時間長の違いにより映像品質が変化する点までは検討されていない。

この発明は上記事情に着目してなされたもので、その目的とするところは、映像の時間長を考慮することで様々な映像品質をより高精度に推定できるようにした映像品質推定装置、方法およびプログラムを提供することにある。

上記目的を達成するためにこの発明の一観点は、先ず映像の再生停止回数と、再生停止ごとの再生停止時間の統計的な値に基づいて、再生停止による映像品質の減少度合いを表す情報を出力し、次に当該出力された映像品質の減少度合いを表す情報を、前記映像の再生停止がない場合の映像の時間長をもとに生成されるモデル式に基づいて補正し、当該補正後の映像品質の減少度合いを表す情報を出力する。そして、前記映像の再生停止が発生していない場合にユーザが視聴する品質を定量化した符号化映像品質値と、前記第２の手段から出力された補正後の映像品質の減少度合いを表す情報とに基づいて、前記映像をユーザが視聴した際に体感する映像品質を定量化した映像品質値を推定するようにしたものである。

この発明の一観点によれば、映像の時間長を考慮した映像品質のモデル式を用いることで、映像の時間長が異なる各映像についてそれぞれ高精度に映像品質を推定することが可能となる。このように映像の時間長を考慮した高精度の映像品質の推定が可能になったことで、映像配信サービスの映像品質の監視をより正確に行えるようになり、故障の早期発見やサービスの改善が期待できる。また、映像品質を最大化するように配信パラメータを設計、制御することにより、映像品質をより一層向上させることも可能になる。これらにより、映像配信サービスの顧客満足度を高め、収益向上に寄与することが期待できる。

すなわちこの発明によれば、映像の時間長を考慮することで映像品質をより高精度に推定できるようにした映像品質推定装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る映像品質推定装置の機能構成を示すブロック図。 図１に示した映像品質推定装置の処理手順と処理内容を示すフローチャート。 映像の再生停止が発生していない場合の映像の時間長と映像品質値との関係を示す図。 再生停止時間の合計値と映像品質比との関係を示す図。 主観評価実験により得られた再生停止による映像品質減少度ＤＲと、再生停止による映像品質減少度の推定値ＤＲ′との関係を、映像の時間長をパラメータとして示した示す図。 映像の時間長と回帰直線の傾きとの関係を示す図。

［原理］
先ず、この発明の原理を説明する。
この発明では、映像の再生停止が発生しない場合の符号化映像品質値VQ_Cと、再生停止回数および再生停止時間を用い、さらに映像の時間長を用いて映像品質値VQを推定する。映像品質値VQは、主観評価実験（複数名の評価者に映像を観視・評価してもらう実験）により得られる評点の平均値を示している。符号化映像品質値VQ_Cは、再生停止が発生していない場合の映像品質値VQを示しており、例えば非特許文献２に示されるように、符号化ビットレート、解像度およびフレームレートから推定することができる。また、再生停止回数は再生開始後に発生する再生停止の回数を意味し、再生停止時間は再生開始後の再生停止ごとの停止時間を意味する。

ところで、映像の時間長とは、映像の再生停止がない場合の再生時間を意味し、理論上は０〜∞となる。但し、実際上はシステム上の制限に依存する。図３は、符号化映像品質値VQ_Cと映像の時間長の関係を示している。プロット点の違いは符号化映像品質値VQ_Cを決める主な要因である符号化ビットレート、解像度およびフレームレートの違いを示している。同図に示すように、再生停止がない場合、映像品質は映像の時間長に対する依存度が少ないことがわかる。このため、再生停止がなければ、符号化映像品質値VQ_Cは映像の時間長を考慮する必要なく様々な時間長の映像を精度よく推定可能である。

次に、図４は再生停止時間の合計値と映像品質比（（VQ−1）／（VQ_C−1）との関係を示すものである。同図に示すように、映像品質比が“１”の場合は再生停止が発生していない映像品質値と同じとなり、映像品質比が“１”より小さい場合には再生停止により映像品質値が減少する。プロット点の違いは映像の時間長の違いを示している。再生停止時間の合計値が大きくなるに従い、映像品質比は小さくなることがわかる。また、映像の時間長が長くなるに従い、映像品質比の減少度が緩やかになることがわかる。これらの関係から、再生停止による映像品質の低下は映像の時間長の影響を大きく受けることがわかる。このため、再生停止による映像品質の減少量を映像の時間長で補正すれば、映像品質値を推定することが可能となる。

非特許文献２に例示される既存の推定モデルでは、映像品質を次式のようなフレームワークで推定している。
VQ′＝（VQ′_C−１）・（１−DR′）＋１ (1)
ここでVQ′は映像品質値VQの推定値、VQ′_Cは符号化映像品質値VQ_Cの推定値、DR′は再生停止による映像品質の減少度の推定値を示している。VQ′_C及びDR′は非特許文献２に記載されたモデル式などにより求めることができる。

図５は、DR′と主観評価実験により得られた再生停止による映像品質の減少度DRとの関係を示している。DRの算出方法は以下の式で求められる。
DR＝１−（VQ−１）／（VQ_C−１） (2)
プロット点の違いは映像の時間長の違いを示している。直線は映像の時間長毎の回帰直線を示している。図５に示すように、映像の時間長によって回帰直線の傾きが異なっていることがわかる。

図６は、図５の回帰直線の傾きと映像の時間長との関係を示したものである。同図に示すように、映像の時間長が増加すると傾きが小さくなる性質があり、これらの関係は有理式、多項式、指数関数、対数などの減少関数で表現できる。すなわち、次式のように、DR′を映像の時間長を引数とした減少関数のモデル式で乗算することにより、映像の時間長を考慮した映像品質のモデルを構築することができる。

VQ′＝（VQ′_C−１）・（１−DR′ｆ(dr)）＋１ (3)
ここでｆ(dr)は映像の時間長drを引数とした減少関数を意味する。

以上述べたようにこの発明によれば、映像の時間長drを考慮した映像品質のモデルを用いることで、映像の時間長drが異なる映像に対して映像品質を推定することが可能となる。

［一実施形態］
次に、この発明の一実施形態を説明する。
図１は、この発明の一実施形態に係る映像品質推定装置の機能構成を示すブロック図であり、１が映像品質推定装置を示している。映像品質推定装置１は、ＤＲ算出部２と、ＤＲ時間長補正部３と、映像品質算出部４を備えている。これらの機能部２〜４は何れも図示しないプログラムメモリに格納されたプログラムを図示しないサーバまたは端末が備えるコンピュータに実行させることにより実現される。

映像品質推定装置１は、図示しないパラメータ算出部から出力される、符号化映像品質値VQ_C、再生停止回数SC、再生停止時間SLおよび映像の時間長TLを入力とし、映像品質値VQを出力とする。ここで、符号化映像品質値VQ_Cは、再生停止が発生していない場合にユーザが体感する品質を定量化した値を意味し、主観評価実験にて複数の評価者により評価した値である。

なお、上記符号化映像品質値VQ_Cは計算により以下のように求めることもできる。すなわち、ビットレートBr、フレームレートFr、解像度Rsをもとに、先ず１画素あたりのビット量に関するパラメータNBrを、例えば主観品質評価特性を考慮した係数v11、v12を用いて
NBr＝Br／Fr(v11・Rs+v12)
として算出する。次に、このパラメータNBrを用いて、符号化品質MOSCを
MOSC＝A1+[v13−{v13／(1+(NBr／v14)^v15)}] …(4)
として算出し、このMOSCを上記符号化映像品質値VQ_Cとして用いる。但し、A1、v13、v14、v15は予め定められた係数であり、サービス事業者が決めてよい。A1、A2、A3、A4は、最低品質や最高品質に関する係数で、０以上の整数が用いられることが多い。上記符号化映像品質値VQ_Cの算出法については、非特許文献２などに詳しく記載されている。

再生停止回数SCは、再生開始後に再生が停止した回数を意味し、視聴端末内での測定や非特許文献３などに記載された既存技術を用いて推定することができる。再生停止時間SLは、再生開始後の再生停止毎の停止時間を意味する。再生停止時間SLは、全ての再生停止における停止時間の平均値として表してもよいし、再生停止ごとの停止時間の配列として表してもよい。要するに、再生停止時間SLは再生停止ごとの再生停止時間の統計的な値とする。映像の時間長TLは、映像の再生停止がない場合の再生時間を意味する。

ＤＲ算出部２は、再生停止回数SCと再生停止時間SLを入力とし、再生停止による映像品質の減少度DRを出力する。DRは非特許文献２などに記載のモデル式によって求められる。再生停止時間SLが配列の場合（SLi ）の算出例を次式で示す。

ここでc1、c2は係数を示している。

また、再生停止時間SLが値の場合の算出例を式(6) に示す。式(6) は、式(5) の配列SLi の値が全て再生停止時間SLとした場合に式を変形したものである。

ＤＲ時間長補正部３は、上記ＤＲ算出部２により算出されたDRと、映像の時間長TLを入力とし、補正されたDRを出力する。補正されたDRは映像の時間長TLを加味して上記DRを補正した値であり、次式により算出される。
補正されたDR＝DR・Slope …(7)
Slopeは映像の時間長TLを入力とした減少関数で表現される。減少関数の例を以下に示す。
Slope＝c3／（TL+c4）＋c5 …(8)
ここで、c3、c4、c5は係数を示す。Slopeの算出式は式(8) に限定されることなく、DRが増加するとSlopeが減少する性質を持つ数式であれば、他の計算式であってもよい。

映像品質算出部４は、上記符号化映像品質値VQ_Cと、上記補正されたDRを入力とし、映像品質値VQを出力する。映像品質値VQは主観評価実験にて複数の評価者に映像を視聴・採点してもらい得られる評点の平均値を推定した値であり、次式のように算出される。
VQ＝（VQ_C−１）・（１−DR）＋１ …(9)
なお、c1、c2、c3、c4、c5は最小二乗法などにより、映像品質値VQの実測値と推定値が最小になるように最適化することで求めることができる。

（動作）
次に、以上のように構成された装置の動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。
図示しないパラメータ算出部から符号化映像品質値VQ_C、再生停止回数SC、再生停止時間SLおよび映像の時間長TLが出力されると、先ずステップＳ１においてＤＲ算出部２により再生停止による映像品質の減少度DRが算出される。この映像品質の減少度DRの算出には、再生停止時間SLが配列の場合には先に述べた式(5) が、また再生停止時間SLが値の場合には式(6) がそれぞれ用いられる。

次にステップＳ２においてＤＲ時間長補正部３により、上記算出された映像品質の減少度DRが、上記映像の時間長TLを加味した値に補正される。この補正されたDRの算出は、映像の時間長TLに応じた減少関数で表現されるSlopeを用いて、先に述べた式(7) により行われる。なお、Slopeは例えば式(8) により算出される。

続いてステップＳ３において映像品質算出部４により、上記補正されたDRと、上記パラメータ算出部から出力された符号化映像品質値VQ_Cを用いて、映像品質VQが先に述べた式(9) により算出される。かくして、映像の時間長TLが考慮された映像品質VQが得られる。

（効果）
以上詳述したようにこの発明の一実施形態では、先ずＤＲ算出部２により映像の再生停止回数および再生停止時間を用いて再生停止による映像品質の減少度DRを算出し、次にＤＲ時間長補正部３により、上記算出された映像品質の減少度DRを映像の時間長TLを加味した値に補正し、最後に映像品質算出部４により、上記補正されたDRと映像の再生停止が発生しない場合の符号化映像品質値VQ_Cをもとに映像品質VQを算出している。

したがって、映像の時間長TLを考慮した映像品質のモデルを用いることで、映像の時間長TLが異なる各映像についてそれぞれ映像品質VQを推定することが可能となる。このように映像の時間長TLを考慮した映像品質VQの推定が可能となったことで、映像配信サービスの映像品質の監視をより正確に行えるようになり、故障の早期発見やサービスの改善が期待できる。また、映像品質VQを最大化するように配信パラメータを設計、制御することにより、映像品質VQをより一層向上させることも可能になる。これらにより、映像配信サービスの顧客満足度を高め、収益向上に寄与することが期待できる。

［他の実施形態］
この発明は上記一実施形態に限定されるものではない。例えば、ＤＲ算出部およびＤＲ時間長補正部は、計算によりＤＲおよび補正ＤＲを算出する以外に、メモリテーブルに予め入力値と出力値との対応関係を表す想定されるすべてのデータを書き込んでおき、このメモリテーブルから入力値に対応するＤＲおよび補正ＤＲを読み出すようにしてもよい。

また、通信帯域が狭かったり、輻輳などにより通信品質がよくない場合には、映像品質の推定結果に応じて、当該映像にその解説や続編の予告、宣伝広告等の付加情報を挿入することで、映像の時間長を長くするようにするとよい。このようにすると、映像の再生停止が起こりやすい環境下にあっても、映像に対する映像品質の低下を緩和することが可能となる。

さらに、映像品質の推定は、ユーザ端末において行ってその結果を映像配信サービス事業者のサーバに通知するようにしてもよいし、映像配信サービス事業者または第３者のサービス事業者がユーザ端末から映像の再生停止回数や再生停止時間などの必要なパラメータを収集し、映像品質の推定処理を当該サービス事業者が運用するサーバにおいて行うようにしてもよい。

その他、映像品質推定装置１の構成、ＤＲ算出部２、ＤＲ時間長補正部３および映像品質算出部４による処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…映像品質推定部
２…ＤＲ算出部
３…ＤＲ時間長補正部
４…映像品質算出部。

Claims (7)

1. 映像の再生停止回数と、再生停止ごとの再生停止時間の統計的な値に基づいて、再生停止による映像品質の減少度合いを表す情報を出力する第１の手段と、
   前記第１の手段から出力された映像品質の減少度合いを表す情報を、前記映像の再生停止がない場合の映像の時間長をもとに生成されるモデル式に基づいて補正し、当該補正後の映像品質の減少度合いを表す情報を出力する第２の手段と、
   前記映像の再生停止が発生していない場合にユーザが視聴する品質を定量化した符号化映像品質値と、前記第２の手段から出力された補正後の映像品質の減少度合いを表す情報とに基づいて、前記映像をユーザが視聴した際に体感する映像品質を定量化した映像品質値を推定する第３の手段と
   を具備することを特徴とする映像品質推定装置。
2. 前記第２の手段は、前記モデル式として、前記映像の再生停止がない場合の映像の時間長が増加すると補正後の映像品質の減少度合いを表す情報の値が減少する性質を持つ減少関数と、前記補正前の映像品質の減少度合いを表す情報の値とを乗算した式を使用することを特徴とする請求項１記載の映像品質推定装置。
3. 前記第３の手段は、前記符号化映像品質値から１を減算した値と、１から前記補正後の映像品質の減少度合いを表す情報の値を引いた値とを乗算し、当該乗算後の値に１を加算することで前記映像品質値を算出することを特徴とする請求項１記載の映像品質推定装置。
4. コンピュータを備えた映像品質推定装置が実行する映像品質推定方法であって、
   映像の再生停止回数と、再生停止ごとの再生停止時間の統計的な値に基づいて、再生停止による映像品質の減少度合いを表す情報を得る第１の過程と、
   前記第１の過程において得られた映像品質の減少度合いを表す情報を、前記映像の再生停止がない場合の映像の時間長をもとに生成されるモデル式に基づいて補正し、当該補正後の映像品質の減少度合いを表す情報を得る第２の過程と、
   前記映像の再生停止が発生していない場合にユーザが視聴する品質を定量化した符号化映像品質値と、前記第２の過程において得られた補正後の映像品質の減少度合いを表す情報とに基づいて、前記映像をユーザが視聴した際に体感する映像品質を定量化した映像品質値を推定する第３の過程と
   を具備することを特徴とする映像品質推定方法。
5. 前記第２の過程は、前記モデル式として、前記映像の時間長が増加すると補正後の映像品質の減少度合いを表す情報の値が減少する性質を持つ減少関数と、前記補正前の映像品質の減少度合いを表す情報の値とを乗算した式を使用することを特徴とする請求項４記載の映像品質推定方法。
6. 前記第３の過程は、前記符号化映像品質値から１を減算した値と、１から前記補正後の映像品質の減少度合いを表す情報の値を引いた値とを乗算し、当該乗算後の値に１を加算することで前記映像品質値を算出することを特徴とする請求項４記載の映像品質推定方法。
7. 請求項１乃至３の何れかに記載の映像品質推定装置が具備する各手段による処理を、前記映像品質推定装置が備えるコンピュータに実行させるプログラム。

Images