JP7072754B2

JP7072754B2 - ストリーミング・ビデオの自動体感品質測定のための方法及びシステム

Info

Publication number: JP7072754B2
Application number: JP2018565442A
Authority: JP
Inventors: ジョウワン，; ジェンファンデュアンム，
Original assignee: エスシムウェーブインク．
Priority date: 2016-03-06
Filing date: 2017-03-06
Publication date: 2022-05-23
Anticipated expiration: 2037-03-06
Also published as: EP3427481A1; JP2019512991A; EP3427481A4; CN109618565A; CA3020707C; CA3020707A1; CN109618565B; US20190158564A1; EP3829182A1; US10673921B2; WO2017152274A1

Description

［発明の分野］
本発明は、一般に、エンドユーザへのストリーミング・ビデオの分野に関する。特に、本発明は、ストリーミング・ビデオ信号のユーザ体感品質測定を自動化するための方法及びシステムに関する。

［発明の背景］
過去１０年において、ネットワークサービスの急速な発展及びスマートモバイルデバイスの著しい成長のおかげで、ストリーミング・メディア・アプリにおける驚異的な成長がなされてきた。例えば、オーバーザトップ（ＯＴＴ）ビデオ・デリバリの分野において、ＨＴＴＰライブストリーミング（ＨＬＳ）、シルバーライト・スムーズ・ストリーミング（ＳｉｌｖｅｒｌｉｇｈｔＳｍｏｏｔｈＳｔｒｅａｍｉｎｇ）（ＭＳＳ）、ＨＴＴＰダイナミックストリーミング（ＤｙｎａｍｉｃＳｔｒｅａｍｉｎｇ）（ＨＤＳ）、及びＨＴＴＰによるダイナミックアダプティブストリーミング（ＤｙｎａｍｉｃＡｄａｐｔｉｖｅＳｔｒｅａｍｉｎｇｏｖｅｒＨＴＴＰ）（ＤＡＳＨ）のような幾つかの方法は、多様なビットレートにおいてビデオストリームを供給すること、及び、小さなＨＴＴＰファイルセグメントに分割することにより、デコーダー駆動レートアダプテーションを達成する。各セグメントのメディア情報は、マニフェストファイルに保存されるが、これは、仕様及び各セグメントの位置を供給するため、サーバーで作られて、そして、クライアントに伝送される。ストリーミング・プロセスを通して、クライアントでのビデオ・プレーヤーは、再生レート、バッファ条件及び即時的ＴＣＰスループットに基づきセグメントを選択することにより利用できるストリームの中で適応的にスイッチする。ストリーム・メディア・アプリケーションの急速な成長と共に、正確な体感品質（ＱｏＥ）及びＱｏＥ駆動アダプティブ・ビデオ・デリバリ―方法の強い要望が生じてきた。

ビデオ・ストリーミング・サービスの増大する人気により、ユーザのより良いサービスに対する期待が連続して高まっている。ビデオ・デリバリ―・サービスのタイプにおけるユーザの好みを調べるために研究又は調査がなされてきたが、このサービスは、コンテンツ、タイミング、質、使いやすさ、ポータビリティ、インタラクティビティ、及びシェアリングのような他のカテゴリーに渡ってユーザの選択における体感品質ＱｏＥの支配的な役割を示す傾向がある。収入の著しい減少は、ビデオ・ストリームの低品質に帰属するであろう。劣悪なストリーミング体験は、ビデオ・サービス・エコシステムへの主な脅威になるかもしれない。従って、エンド・ビューア―の最適な体感品質ＱｏＥを達成することは、現代のビデオ・デリバリ―・サービスの中心となる目標であった。

人間が大抵のアプリケーションにおいてビデオの究極の受け取り手であるので、主観的な評価は、ストリーミング・ビデオの体感品質ＱｏＥを評価するため、最も率直な且つ信頼性のあるアプローチとしばしばみなされる。包括的な主観的ユーザ研究は、幾つかの便益を有している。それは、ストリーミング・ビデオの感性品質の評価における人間の行動を研究するための有用なデータを提供し、それは、ストリーミング戦略を評価し、比較し、そして最適化するため、テストセットを供給し、そして、それは、存在する客観的ＱｏＥモデルのパフォーマンスの正当性を認識し且つ比較するため、有用である。そのような主観的ユーザ研究は、信頼性のある評価を提供するが、それらはしばしば、不便であり、時間がかかり、そして、高い。より重要には、それらは、如何なるリアルタイムの再生スケジューリング・フレームワークにおいて適用することが難しい。従って、高い精度、低い複雑性、客観的な手法が、メディア・デリバリ―・システムのためのクオリティ・コントロール及びリソース割り当てプロトコルの効率的な設計を可能にすることが望まれている。しかしながら、多くの既知の方法は、初期バッファリング及び再生ストールのみの影響を、又は、プレゼンテーション品質（若しくは画質）だけを測定するために、設計されている。実際、既存のシステムは、ＱｏＥ予測のためストール・イベントのグローバルな統計及びビットレートにしばしば依存する。これは、少なくとも２つの理由から問題がある。第１に、異なるビデオ・コンテンツをエンコードするのと同じビットレートを使用することは、劇的に異なるプレゼンテーション品質という結果になり得る。第２に、ビデオ・プレゼンテーション品質及びネットワーク品質の間のインタラクションは、これらの既知の方法の幾つかにおいて、説明され難いか、或いは、単に説明がされない。

以上のことは、客観的なＱｏＥ測定をリアルタイム中でなすことに対して、及び、大多数のエンドユーザに対して、挑戦及び制約を作り出す。従って、既存の技術に対比して、ストリーミング・ビデオ信号のユーザの体感品質測定を自動化するための方法及びシステムに対する需要がある。本発明の目的は、上述する不利益の少なくとも１つを軽減又は除去することである。

本発明は、一般に、ユーザの視聴デバイスへとストリーミングされるビデオを認知するとき、エンドユーザの体感品質（ＱｏＥ）の測定を自動化することに関する。ユーザＱｏＥを自動的に測定するため、本発明は、ビデオの即時的プレゼンテーション品質（スムーズな再生の間視覚化されたビデオフレームの画質であり、非可逆圧縮、ノイズ、ぼかし、空間及び時間スケーリング、プリプロセッシング、ポストプロセッシング、伝送損失等によって影響されるかもしれず、そして、ユーザ側での視聴デバイス及び視聴条件に基づき変動するかもしれないもの）、再生スムーズさ品質（再生プロセスのスムーズさであり、バッファリング、再生中のストール等による初期ストールによって影響されるかもしれないもの）、及びそれらの間のインタラクションを結び付ける。

本発明は、一般的なストリーミング・ビデオのための即時的な客観的ＱｏＥ測定方法若しくはシステムを提供しようとするものである。ビデオのプレゼンテーション品質及び再生スムーズさ品質が測定されるだけでなく、本発明はまた、そのような説明において、それらの間のインタラクションを説明するものであり、以下の記述において明確になるであろう。

本発明の１つの実施例において、ＱｏＥについて、再生スムーズさ品質、即ち劣化の影響は、ストール・イベントの持続期間又は（タイミング）位置に基づいて測定されるだけでなく、ストール・イベントが起こるビデオフレームのプレゼンテーション品質にも基づいている。プレゼンテーション品質及び再生スムーズさ品質の間のインタラクション（即ち、依存性）のこの包含は、ユーザＱｏＥの顕著により正確な測定へと導くと信じられる。本発明により得られる即時的な及びエンドオブプロセスＱｏＥ測定（ｅｎｄ－ｏｆ－ｐｒｏｃｅｓｓＱｏＥｍｅａｓｕｒｅｓ）は、他の方法に比べて、メディア・ストリーミング・システム及びサービスのモニタリング及び最適化における顕著な利益を提供するかもしれない。

本発明の第１の側面において、ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成する方法が提供される。ストリーミング・ビデオは、ネットワーク接続を渡って、サーバー側でのビデオ・ホスティング・サーバーから、受信側でのユーザ視聴デバイスへと、伝送される。その方法は、ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、再生スムーズさ品質測定が、ストリーミング・セッションの開始（ｓｔａｒｔ）より全てのストール・イベントからの寄与を結び付けることにより受信側で評価されるステップと、ストール・イベントからの寄与が、過去のストール・イベントの発生による品質ディケイエフェクト（劣化効果）（ｑｕａｌｉｔｙｄｅｃａｙｅｆｆｅｃｔ）及びメモリエフェクト（効果）（ｍｅｍｏｒｙｅｆｆｅｃｔ）及びストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質に基づき計算されるステップと、及び、再生スムーズさ品質測定及びプレゼンテーション品質測定を組み合わせることにより即時的ＱｏＥ品質を発生させるステップと、を含む。

１つの特徴として、その方法は、ストリーミング・セッションの全体のエンドオブプロセスＱｏＥスコアを得るため、ストリーミング・セッションの開始から全ての時間ポジッションで発生する即時的ＱｏＥ品質を蓄積するステップを更に含むかもしれない。もう１つの特徴として、ストール・イベントの寄与は、ストール・イベントの発生の前にビデオフレームのプレゼンテーション品質測定に基づいて計算され、そして、そのビデオフレームは、ストール・イベントの発生の直前に十分にレンダーリングされた（実施された（ｒｅｎｄｅｒｅｄ））フレームであるかもしれない。更にもう１つの特徴として、メモリエフェクト（ｍｅｍｏｒｙｅｆｆｅｃｔ）又は品質ディケイエフェクト（ｑｕａｌｉｔｙｄｅｃａｙｅｆｆｅｃｔ）或いは両者は、時間と共に単調に減少し時間が経つにつれて飽和する関数によって表されるかもしれない。

もう１つの別の特徴として、プレゼンテーション品質測定は、ストリーミング・ビデオのオリジナルなソースから生成されたテストビデオの品質をリファレンスとしてオリジナル・ソース・ビデオのそれとを比べるフルリファレンス（ＦＲ型）ビデオ品質評価方法（ｆｕｌｌ－ｒｅｆｅｒｅｎｃｅｖｉｄｅｏｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｍｅｔｈｏｄ）から得られるか、又は、オリジナル・ソース・ビデオへのアクセスが必要とされないノーリファレンス（ＮＲ型）ビデオ品質評価方法（ｎｏ－ｒｅｆｅｒｅｎｃｅｖｉｄｅｏｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｍｅｔｈｏｄ）から得られるが、そして、ビデオ品質評価方法（ｖｉｄｅｏｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｍｅｔｈｏｄ）は、ユーザ視聴デバイス及びエンドユーザの視聴条件に適合されるかもしれない。

更にもう１つの特徴として、再生スムーズさ品質測定（ｐｌａｙｂａｃｋｓｍｏｏｔｈｎｅｓｓｑｕａｌｉｔｙｍｅａｓｕｒｅ）は、初期のバッファリング及び再生ストール・イベントの時間ポジッション及び持続期間を活用して評価される。更なる特徴として、初期のバッファリング又は再生ストールによる、ストール・イベントによって引き起こされる再生スムーズさ品質の劣化は、ストール・イベントの前の最後にレンダーされたビデオフレームのプレゼンテーション品質測定と共に劣化が増加する、モデルにより評価される。更に、ストール・イベントによって引き起こされる劣化は、最後にレンダーされたビデオフレームのプレゼンテーション品質測定に比例するように選択されるかもしれない。

本発明のもう１つの側面において、ネットワーク接続に渡って、受信側でのユーザ視聴デバイスへのサーバー側のビデオ・ホスティング・サーバーから伝送されるストリーミング・ビデオのユーザ体感品質（ＱｏＥ）を測定するためのシステムを提供する。プレゼンテーション品質評価ユニットと、ストリーミング・ビデオのプレゼンテーション品質測定を生成又は取得するプレゼンテーション品質評価ユニットと、再生スムーズさ品質評価ユニットと、ストリーミング・セッションの間の全てのストール・イベントの発生を追跡し及びストリーミング・ビデオを再生するユーザ視聴デバイスで認知される再生スムーズさ品質の再生スムーズさ品質測定を生成する再生スムーズさ品質評価ユニットと、ここで、スムーズさ品質測定の生成は、ストリーミング・セッションのスタートより全てのストール・イベントからの寄与、過去のストール・イベントの発生によるメモリエフェクト及び品質ディケイエフェクト及びストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質に基づき計算されたストール・イベントからの寄与、を組み合わせ、及び、ＱｏＥ評価ユニットと、をそのシステムは含み、ここで、ＱｏＥ評価ユニットは、プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせて即時的ＱｏＥスコアにする。

更にもう１つの側面において、計算装置のプロセッサにより実行されると、計算装置が、これまで概要を述べてきた方法の何れか１つにより、ストリーミング・ビデオのユーザ体感品質を測定する方法を実行するようにさせるコンピュータが読み取り可能なコードが保存された非一時的なコンピュータ読み取り可能なメディアが提供される。

他の側面において、本発明は、上述する側面の種々の組合せ及びそれらのサブセットを提供する。

［図面の簡単な記述］
限定としてではなく、記述の目的のために、上述及び本発明の他の側面は、添付される図面を参照してより詳しく説明される。それらの図面は、次の通りである。

図１は、ストリーミング・ビデオのＱｏＥを自動的に測定するプロセスを示す図である。

図２は、ビデオ・ホスティング・サーバーから通信ネットワークを通してユーザ・ディスプレイ・デバイスへとストリーミング・ビデオが伝送されることが示される、説明のための例を提供するが、そこでは、クラウド内のサーバーが、ビデオ・ホスティング・サーバー、エッジ・サーバー、及び／又はユーザ・ディスプレイ・デバイスから情報を集めてもよい。

図３は、全体ＱｏＥにたいする３つのストール・イベントの効果を示すため、説明のための例を提供する。

図４は、再生中の各時間インスタンスにおける全体ＱｏＥに対する、ビデオ・プレゼンテーション品質及びストールの衝撃を図解するため、説明のための例を提供する。

図５は、ハードウェア演算ユニットの非限定的例を提供する。及び

図６は、ストリーミング・ビデオＱｏＥを自動的に測定するためのシステムを示す説明のための例を提供する。

［実施例の詳細な記述］
以下の記述及びそこに記述される実施例は、本発明の原理の特定の実施、又は例の説明のために提供される。これらの例は、限定の目的ではなく、本発明の及びそれらの原理の説明の目的のために提供される。以下の記述において、同じそれぞれの記号が、明細書及び図面を通して、同じ部分に付される。

本発明は、一般に、ユーザの視聴デバイスにストリームされているビデオを知覚するとき、ユーザの体感品質（ＱｏＥ）の自動的な測定に関する。ユーザＱｏＥを自動的に測定するため、本発明は、ビデオの即時的プレゼンテーション品質、再生スムーズさ品質、及びそれらのインタラクションを結び付ける。ここで、ＱｏＥは、ネットワークを通してビデオ・ホスティング・サーバーから視聴者の受け取り及びディスプレイ・デバイスへ伝送されるビデオ・ストリームの再生経験の全般的な視聴者の満足を参照する。ＱｏＥは、ビデオ・デリバリ・チェーンの終端での人間の経験に集中する。ＱｏＥは、ネットワークを通してのビデオ伝送プロセスのサービス・レベル及び安定性に集中するサービスの品質（ＱｏＳ）又はデリバリの品質（ＱｏＤ）のコンセプトとは異なるが、帯域幅、ビット誤り率（ビットエラーレイト）、パケット・ロス・レイト、及び伝送遅延のようなネットワーク・サービス及びパフォーマンス・パラメータによってしばしば測定される。

図１は、ストリーミング・ビデオＱｏＥを自動的に測定するプロセスを示す図である。このプロセスは、ビデオ・プレゼンテーション品質、再生スムーズさ品質、及びそれらのインタラクションを含む統一されたＱｏＥ測定アプローチを利用する。ストリーミング・ビデオ１００の再生中に、２つのタイプの情報が、ストリーミング・ビデオ信号から抽出される。第１のタイプの情報は、再生エンジンに送られる復号され及び処理されたビデオ・ピクチャー／フレームを含み、他方のタイプ１０４は、一般に、初期のバッファリング、ストール・イベントのポジッション及び持続時間のような、再生パフォーマンス・パラメータを他の中に含む。ビデオのプレゼンテーション品質は、ビデオ品質評価方法１０６を使用して評価され、その評価は、ピクチャー毎に（又はフレーム毎に）実行されるかもしれず、そして、再生スムーズさ品質１０８はまた測定又は評価される。これらの２つの測定は独立ではない。例えば、ストール・イベントの期間中に表示されるビデオフレームのプレゼンテーション品質は、ストール・イベントによって引き起こされる品質劣化のレベルに影響を及ぼすかもしれない。これらの２つの品質測定の間の相互関係は、図１の相互関係（インタラクション）によって表されるが、それは、詳細に後述される。各フレームでの全体の即時的ＱｏＥ測定又は評価１１２は、プレゼンテーション品質測定及び再生スムーズさ品質測定を、それらの間のインタラクションの衝撃と共に組み合わせることにより得られる。全ての過去のフレームでの即時的全体のＱｏＥ測定１１４は、プロセス終了時のＱｏＥ測定１１８を最終的に作り出すために蓄積される１１６。このプロセスは更に以下において説明される。

まず、図２を参照する。このプロセスを詳細に記述する前に、ストリーミング・ビデオがネットワーク接続２０４を介してサーバー側のビデオ・ホスティング・サーバー２０２から受信側での再生視聴デバイス又は受信機（ｒｅｃｅｉｖｅｒ）２０６へと伝送されるとき、ビデオ・プレゼンテーション品質は、ビデオ・ホスティング・サーバー２０２によるようなサーバー側で、又は再生視聴デバイス２０６によるような受信側で、測定されるかもしれないことが認識されるであろう。あるネットワーク構成に対して、これはまた、エッジ・サーバー２０８で測定されるかもしれないが、それは、ローカルなサービス・プロバイダーによって直接的に機能させられる再生デバイスへと接続するためのローカルなサービス・プロバイダーによって使用されるビデオ・サーバーである。エッジ・サーバー２０８及び受信機（ｒｅｃｅｉｖｅｒ）２０６の間の接続２１０は一般に、受信機（ｒｅｃｅｉｖｅｒ）２０６及びネットワークの間の最終リンクであるが、但し、追加のリンクは有るかもしれない。一方、再生スムーズさ品質は、ビデオ・ホスティング・サーバー２０２でではなく、受信機（ｒｅｃｅｉｖｅｒ）２０６で測定される。再生スムーズさ品質はまた、受信機（ｒｅｃｅｉｖｅｒ）で測定されるものを概算するために、専用ＱｏＥサーバー、クラウド・サーバー、又はエッジ・サーバー２０８のようなネットワークに接続されたサーバーで測定されるかもしれない。例えば、再生視聴デバイスは、クラウド中のサーバー２１６へ、関連する情報（ストール開始ポイント及び持続時間のようなもの）を送るかもしれず、そして、再生スムーズさ品質は、クラウド・サーバー２１６で測定されるかもしれない。これらは望ましいかもしれないが、何故かならば、エッジ・サーバー又はクラウド・サーバーが、再生デバイスで利用可能なものよりもはるかに優れた計算パワーを備えるかもしれず、また、フィードバックとして個々の再生デバイスからの再生状態情報を受け取るように及びエッジ・サーバーに接続される全ての再生デバイスでの再生スムーズさ品質を測定（従って、モニタ）するように構成され、或いは、クラウド・サーバーによってモニタされるように構成されているかもしれないからである。

ここで、図１に戻れば、ストリーミング・ビデオにおける各フレームに対して、その即時的ビデオ・プレゼンテーション品質測定Ｐ_ｎは、伝送の前にフレーム・レベルのプレゼンテーション・ビデオ品質評価（ＶＯＡ）方法によってサーバー側で見積もられるかもしれない。フルリファレンス（ＦＲ型）又はノーリファレンス（ＮＲ型）ＶＯＡ方法の何れかが用いられてよい。フルリファレンス（ＦＲ型）ＶＯＡの場合において、プレゼンテーション品質測定は、リファレンスとしてオリジナル・ソース・ビデオの品質と、ストリーミング・ビデオのオリジナルなソースから生成されたテストビデオの品質を比べるフルリファレンス（ＦＲ型）ビデオ品質評価方法から得られる。即時的ビデオ・プレゼンテーション品質測定は、ストリーミング・ビデオ及び初期品質ビデオの両方の現在のフレームの関数として表されるかもしれない。
Ｐ_ｎ＝Ｖ_ＦＲ（Ｒ_ｎ，Ｘ_ｎ），（１）
ここで、Ｒ_ｎ及びＸ_ｎは、それぞれ、初期品質ビデオ（ビデオ・コンテンツ・プロバイダー２１２から受け取り、又は、ビデオ・ホスティング・サーバーのデータ・ストレージ・デバイス２１４に保存されるソース・ビデオ）及びサーバーにより伝送されるストリーミング・ビデオの第ｎ番目のフレームであり、そして、Ｖ_ＦＲ（・）は、フルリファレンスＶＱＡオペレータである。ノーリファレンスＶＱＡの場合において、プレゼンテーション品質測定は、オリジナルなソースビデオへのアクセスを必要としないノーリファレンス型ビデオ品質評価方法から得られる。即時的ビデオ・プレゼンテーション品質測定は、Ｘ_ｎのみの関数として表すことができる。
Ｐ_ｎ＝Ｖ_ＮＲ（Ｘ_ｎ）（２）
ここで、Ｘｎは、ストリーミング・ビデオの第ｎ番目のフレームであり、また、Ｖ_ＮＲ（・）は、ノーリファレンスＶＱＡオペレータである。

如何なるＶＱＡ方法は、プレゼンテーション品質を測定するために使用されるかもしれない。幾つかの既知の例は、ピーク信号対雑音比（Ｐｅａｋｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ－ｒａｔｉｏ）（ＰＳＮＲ）、構造的類似性インデックス（Ｓｔｒｕｃｔｕｒａｌｓｉｍｉｌａｒｉｔｙｉｎｄｅｘ）（ＳＳＩＭ）、多重スケール構造的類似性インデックス（Ｍｕｌｔｉ－ｓｃａｌｅｓｔｒｕｃｔｕｒａｌｓｉｍｉｌａｒｉｔｙｉｎｄｅｘ）（ＭＳ－ＳＳＩＭ）、及びＳＳＩＭｐｌｕｓを含む。全ＱｏＥ測定方法又はシステムのより良い実施、柔軟性、及び有用性のために、ユーザ視聴デバイス及びエンドユーザの視聴条件に適合されたＶＯＡ又はビデオＱｏＥ測定方法が使用されるかもしれない。視聴デバイス及び視聴条件適応力を有するそのようなＶＯＡ方法によると、同じビデオストリームは、そのビデオが視られるときに、視聴デバイス及び視聴環境条件に基づき異なるように採点されるかもしれない。例えば、クロス－レゾルーション測定（ｃｒｏｓｓ－ｒｅｓｏｌｕｔｉｏｎｍｅａｓｕｒｅｍｅｎｔ）参酌するフルリファレンスＶＱＡ又はフルリファレンス・ビデオＱｏＥ測定を使用するかもしれないが、即ち、テストビデオの品質を査定するときに、比較のために使用されるリファレンスビデオが異なる空間レゾルーション（分解能）（ｓｐａｔｉａｌｒｅｓｏｌｕｔｉｏｎ）及び／又は時間レゾルーション（分解能）（ｔｅｍｐｏｒａｌｒｅｓｏｌｕｔｉｏｎ）を有するかもしれない

視聴デバイス／視聴条件適応力及びクロス－レゾルーション評価の要件を満たすかもしれないそのようなＶＱＡ又はビデオＱｏＥ測定方法は、ＳＳＩＭｐｌｕｓ方法である。これは、フルリファレンスＶＱＡ方法である。ソース初期品質ビデオは、例えば、圧縮によりユーザへとストリーミングされるべきでもある、ソースビデオから生成されるテスト・ストリーミング・ビデオの品質を評価するために、リファレンスとして使用される。ＳＳＩＭｐｌｕｓは、特に低いビットレートで、コーディング方法の欠陥により引き起こされる、ぼかし効果のような局所ひずみを捕獲するために、有用であるかもしれない、リファレンスビデオに対するテストビデオの忠実性を測定し、そして、そのテストビデオの認識される品質劣化を予測する。その予測の正確性に影響を及ぼすかもしれない選択の対象となる、異なるコンピュータの視覚科学モデルを、その予測は使用するかもしれない。そのテストビデオの全品質予測が、生成される。それに加えて、ＳＳＩＭｐｌｕｓはまた、各ビデオフレームにおける各ピクセル位置でビデオ品質を示す品質マップを生成する。一般に、ＳＳＩＭｐｌｕｓに対して選択されるコンピュータの視覚科学モデルは、視聴ディスプレイの明度、空間レゾルーション（ピクセルの行及び列による）、及び、視聴距離又は角度及び物理的なサイズのような視聴条件パラメータを考慮に入れる。後に認識されるように、ストリームされるビデオの圧縮プロセスの欠陥により引き起こされるぼかし効果のような局所ひずみの可視性は、ディスプレイ・デバイス及び視聴条件パラメータの両方に依存するかもしれない。例えば、大きなサイズの高解像度ＴＶディスプレイ・スクリーン上で良く見えるひずみは、より小さな物理的サイズ又はより低い解像度を備えるディスプレイ上で（例えば、携帯電話のスクリーン上で）より低い視認性又は更に見えなくなるかもしれない。ＳＳＩＭｐｌｕｓはまた、ディスプレイ・デバイス及び視聴条件に合わせて適合するＶＱＡ方法であり、そして、ビデオ内容だけでなく、他の中から、ディスプレイの輝度、空間レゾルーション、及び物理サイズのようなディスプレイ・デバイス・パラメータ、及び、視聴距離及び角度のような視聴条件をも、考慮に入れることにより、プレゼンテーション品質を予測する（即ち、見積もる）、人間の視覚感度モデルを組み込むかもしれない。

もし品質スコア又は測定がサーバ２０２サイドで計算されるならば、それらが計算された後に、それらは、ビデオ・コンテンツと共に受信機（ｒｅｃｅｉｖｅｒ）２０６へと伝送されるか、又は、サーバ２０２及び受信機（ｒｅｃｅｉｖｅｒ）２０６の間の分離したチャネルを通して伝送される。算出された品質スコアＰ_ｎ’ｓは、ビデオの仕様を記述するマニフェスト・ファイル内へと埋め込まれるか、又は、ビデオ・コンテナのメタデータ内に入れて運ばれることができる。マニフェスト・ファイル又はメタデータ・ファイルは、その上方が受信機（ｒｅｃｅｉｖｅｒ）に利用可能であるように受信側へと伝送される。ストールが起こるとき、受信機（ｒｅｃｅｉｖｅｒ）２０６は一時的に、サーバから全くビデオ信号を受信しないか、又は、不完全なビデオ信号のみを受信するか、或いは、受信機（ｒｅｃｅｉｖｅｒ）２０６のデコーディング／ディスプレイ速度は、ビデオ再生のそれにマッチしない。結果として、受信機（ｒｅｃｅｉｖｅｒ）は、最後に成功裏にデコードされたフレーム又は部分的に復号されたフレームの何れかを示すことができる。ＭＰＥＧ－ＤＡＳＨのような共通して使用されるストリーミング・プロトコルは、部分的に復号されたフレームは、提示のために送られることはなく、そして、そのようにして、視聴者は、ストール間隔の間に最後に成功裏にデコードされたフレームを見るであろう。

中断期間［ｉ，ｊ］内におけるストールの瞬間ｎに対して、インスタンスｎでのビデオ・プレゼンテーション品質、即ち、Ｐ_ｎを表す１つの方法は、ストールＰ_ｉ－１の直前における最後に復号されたフレームの品質測定を使用することである。
Ｐ_ｎ＝Ｐ_ｉ－１（３）
この品質測定Ｐ_ｉ－１は、ストールが終わるまで、全ての時間ポジッション（即ち、期間［ｉ，ｊ］内の全てのフレーム）に対して繰り返されるであろう。もちろん、中断期間におけるストールの瞬間ｎでのビデオ・プレゼンテーション品質はまた、ある平均のような又は部分的に復号されたフレームのそれを適宜使用して、ストール前に得られた又は算出されたプレゼンテーション品質から他の量によって表されるかもしれない。

各ストール・イベントは、別々に解析されるかもしれず、そして、全体効果は、それらを集めることにより算出されるかもしれない。各ストール・イベントは、ストリーミング・セッション・タイム・ラインを３つの間隔、即ち、ストール前、ストール中、及びストール後に分割されることに留意されたい。便宜上、これらの３つの間隔は、しばしば、オーバーラップしないように選択される。これらの３つの間隔は、それらの間隔の各々に対するストール・イベントの衝撃が異なるので、別々に解析され得る。再生のスムーズさ品質測定は、時間ポジッション並びに初期バッファリング及び再生ストール・イベントの持続期間を利用して評価されるかもしれない。このことは更に、以下の例において記述される。

第１に、視聴者が如何なる中断をも経験しなかった場合、ストールが起こる前に、それらのフレームにゼロ・ペナルティを割り当てるかもしれない。第２に、再生ストールが開始すると、再生が再開されるまで、不満足のレベルは、ストールが継続するにつれて、増大する。サービスをキューイングする際に、ユーザの体感に対するウェイティング時間（待ち時間）の衝撃は、心理学的観点だけでなく、経済的な観点を有する。言い換えると、ストール衝撃は、時間において単調に減少し（即ち、ストールが継続するとより負の体感となり）、そして、同様に時間が経つと飽和する、関数によって表される。指数関数的な減衰は、ストールの数及び長さにより時間に対してそのようなＱｏＥ損失飽和を近似するために使用されるかもしれない。言い換えると、ストール・イベントによるＱｏＥ損失は、指数関数的減衰関数によって近似されるかもしれない。第３に、ＱｏＥはまた、行動ヒステリシスの「アフターエフェクト（ａｆｔｅｒｅｆｆｅｃｔ）」に依存する。特に、ストール・イベントによって引き起こされる以前の不快な視聴体験は、将来におけるＱｏＥにペナルティを科す傾向があり、そして、そのようにして全体のＱｏＥに影響を及ぼす。不満足の程度は、再生の回復の瞬間からフェードアウトし始めるが、これは、観測者が腹立ちを忘れ始めるからである。バッファリング・イベントの記憶保持のこの減衰は、時間に対して一般に単調である。そのような減衰の効果は、ヘルマン・エビングハウスの忘却曲線を使用することによりストール・イベントの衝撃の測定及び算出に含まれるかもしれない。
Ｍ＝ｅｘｐ｛－ｔ／Ｔ｝（４）
ここで、Ｍは記憶保持であり、Ｔは記憶の相対的強度、及び、ｔは時間である。

ここで、ｋ番目のストール・イベントが、間隔［ｉ_ｋ，ｉ_ｋ＋ｌ_ｋ］に位置すると仮定するが、ここで、ｌ_ｋは、ストールの長さである。ストールによりＱｏＥスコアにおける変化、又は、ＱｏＥに対する各ストール・イベントの衝撃を測定するために、区分モデル（ｐｉｅｃｅｗｉｓｅｍｏｄｅｌ）が使用されるかもしれない。

ここで、Ｓ^ｋ（ｔ）は、時間ｔにおける第ｋ番目のストール・イベントによるＱｏＥスコアにおける変化を表し、ｆは、フレーム／秒におけるフレーム速度であり、ｄ（ｔ）は、ストール・イベント（即ち、ｌ_ｋ）の長さと共に増加する品質減衰関数であり、ｍ（ｔ）は、イベントが終了した後に第ｋ番目のストール・イベントの続く衝撃を測定するメモリ関数であり、そして、Ｑは、以下の記述において明らかになるであろう減衰関数のスケーリング係数である。

非限定の例として、限定ではなく説明の目的のために、品質減衰関数の時間変化ｄ（ｔ）及びメモリ関数ｍ（ｔ）は、次のように、指数関数として表されるかもしれない。
ｄ（ｔ）＝－１＋ｅｘｐ｛－（（ｔｆ－ｉ_ｋ）／Ｔ_０）｝
及び
ｍ（ｔ）＝ｅｘｐ｛－（（ｔｆ－ｉ_ｋ－ｌ_ｋ）／Ｔ_１）｝
ここで、Ｔ_０及びＴ_１は、それぞれ、不満足の割合及び記憶の相対的強度を表す。

減衰関数に対するスケーリング係数Ｑは、ストール前、即ち、時間（又はフレーム）ｉ_ｋ－１までの全てのフレームのプレゼンテーション品質から算出されるかもしれない。プレゼンテーション品質は、例えば、式（１）、（２）、及び（３）を用いて算出されるかもしれない。非限定の例として、限定ではなく説明の目的のために、スケーリング係数は、次のように、算出されるかもしれない。

減衰関数のこのスケーリング係数は、２つの機能を有しているが、１）未来のビデオ・プレゼンテーション品質に視聴者の期待を反映すること、及び、２）ＶＱＡカーネルの同じスケールにストール効果を正規化することである。この式は、以前に議論した２つのＱｏＥファクターの間の関係と定性的に一致する。この選択及び

の使用は、特定例であることが認識されるであろう。一般に、ストールの前にプレゼンテーション品質を適切に記述し又は表現する如何なる妥当なスケーリング係数は、使用されるかもしれない。これは、ストール直前のようにストール前の特定フレームの、又は、ストール前の幾つかのフレームの平均の、又は、ストール前のより長い期間を表すスコアのそれであるかもしれない。更に、スケーリング係数の使用であるので、減衰関数及びスケーリング係数によって合同して表されるように、減衰効果は、プレゼンテーション品質と共に変化し、そして、特に、ストール前のプレゼンテーション品質スコアと比例する。より一般的に、劣化は、ストール・イベント前のプレゼンテーション品質測定と共に増加し、そして、特定のフレームのそれ又は幾つかのすれーむの平均のような、ストール前のプレゼンテーション品質の測定は、ＱｏＥスコアにおける変化（即ち、ＱｏＥにおける落下）又は品質減衰効果のためのそのようなモデル又は表現内に組み込まれるかもしれない。

加えて、初期バッファリング及び再生中のストールの衝撃は異なるため、２つのセットのパラメータが、即ち、それぞれ、初期遅延に対する｛Ｔ_０ ^ｉｎｉｔ，Ｔ_１ ^ｉｎｉｔ｝及び他の再生ストールに対する｛Ｔ_０，Ｔ_１｝が、使用される。簡単のために、当初の期待Ｐ_０は、定数として選択される。このようにして、初期バッファリング時間は、蓄積された体感損失に比例する。

全てのストール・イベント（過去及び現在）のヒステリシス影響は、インスタントＱｏＥを減少させる。全てのインストール・イベントによるインスタントＱｏＥは、各ストール・イベントによって引き起こされる全てのＱｏＥ落下を集めることにより近似されるかもしれない。全てのストール・イベントによる落下のこの集合を説明する表現は、次のような形式であるかもしれない。

ここで、Ｎは、ストリーミング・セッションの開始からのストール・イベントの全数である。このことは図３に図解されているが、第１のストール、第２のストールにより引き起こされるパネル３０４に示される第２のＱｏＥ落下Ｓ_２（ｔ）、及び第３のストールにより引き起こされるパネル３０６に示される第３のＱｏＥ落下Ｓ_３（ｔ）を、図解する。

全ＱｏＥに影響を及ぼすもう１つのファクターは、ストールがどれだけ頻繁に起こるかである。ストールの頻度は、ストールの固定された全長さのストリーミング・ビデオに対するＱｏＥと負の相関関係がある。ストールの頻度を説明すると、｛Ｔ_０，Ｔ_１｝のパラメータは、Ｔ_１＞Ｔ_０を満足するように選択されるかもしれない。そのようなパラメータ選択で、ストール頻度の効果の傾向は、区分モデル及び上述された品質減衰関数ｄ（ｔ）及びメモリ関数ｍ（ｔ）によって良く捕獲される。

あるアプリケーションにおいて、個々のフレームでストールの衝撃を測定することは望ましい。そうするためには、各離散時間インスタンスｎで、各１／ｆ秒毎に関数をサンプリングすることにより、その離散形式に式（５）における連続関数を変換するかもしれない。
Ｓ_ｎ＝Ｓ（ｎ／ｆ）（９）

この離散形式において、ストリーミング・セッションにおける各時間ユニットｎでの即時的ＱｏＥは、２つのチャネル、即ち、ビデオ品質評価チャネル１０６（又はＰ_ｎ）及び再生スムーズさ品質チャネル１０８（又はＳ_ｎ）、の集合として、以下のように表されるかもしれない。
Ｑ_ｎ＝Ｐ_ｎ＋Ｓ_ｎ（Ｐ_１，Ｐ_２，・・・，Ｐ_ｎ）（１０）

ここで、プレゼンテーション品質Ｐ_ｎの衝撃及び全ＱｏＥにおける再生スムーズさ品質Ｓ_ｎによる劣化は、単純に加算されない。再生スムーズさ品質Ｓ_ｎの劣化衝撃の計算における、メモリｍ（ｔ）（即ち、全ての過去のイベントの衝撃）及び減衰ｄ（ｔ）の効果が、共に変調される。例えば、再生スムーズさ品質Ｓｎの劣化衝撃は、現在及び以前のプレゼンテーション品質Ｐ_１、Ｐ_２、・・・Ｐ_ｎに依存するかもしれない。このようにして、式（１０）が、単に２つのチャネルからの寄与の加算をその面に示すかもしれないが、その２つのチャネルの間の相互作用からの寄与は、全ての過去のイベントからの減衰及びメモリ寄与内に含まれる。それは、再生スムーズさ品質及びプレゼンテーション品質の間の相互作用を形成する、再生スムーズさ品質及びプレゼンテーション品質のＱｏＥ（又は、むしろその落下）への共同効果、及び、現在及び以前のプレゼンテーション品質への再生スムーズさ品質Ｓｎの依存性である。

実際には、シングル・エンドオブプロセスＱｏＥ測定（ｓｉｎｇｌｅｅｎｄ－ｏｆ－ｐｒｏｃｅｓｓＱｏＥｍｅａｓｕｒｅ）がしばしば要求される。全再生期間に渡る予測されたＱｏＥの平均値は、全ＱｏＥを評価するために使用されるかもしれない。現在のエンドオブプロセスＱｏＥは、移動平均法を使用して算出されるかもしれない。
Ａ_ｎ＝（（ｎ－１）Ａ_ｎ－１＋Ｑ_ｎ）／ｎ（１１）
ここで、Ａ_ｎは、ストリーミング・セッションにおける第ｎ番目の時間インスタンスまでの蓄積ＱｏＥである。解説的な例が図４において示される。図４（ａ）において、実線において、「＊」がストールの位置を示している、各フレームでの静止画ビデオのビデオ・プレゼンテーション品質を表す曲線を示す。各フレーム４０２での再生中のストリーミング・ビデオのビデオ・プレゼンテーション品質は、「＊」がストールの位置を示し及び「ｏ」が回復の位置を示すところの、図４（ｂ）内に示される。各フレームでの各ストール・イベントによるＱｏＥ落下４０４は、図４（ｃ）において示される。図４（ｃ）において、実線で描かれる曲線は、初期バッファリングによるＱｏＥ落下を示し、そして、破線で描かれた曲線は、再生ストールによるＱｏＥ落下を示している。再生中の各時間インスタンスでの全体のＱｏＥ４０６は、比較のため、図４（ｄ）において図解されている。

ここで、図１に再び戻る。シングル・エンドオブプロセスＱｏＥ測定を得るために、蓄積１１６は、図１内に示されるプロセスによってモニタされている期間に渡ってストリーミング・ビデオの全体ＱｏＥスコアを表すため、シングル・エンドオブプロセスＱｏＥ測定内に、全ての前のフレーム（又は時間ユニット）において生成された全ての即時的ＱｏＥ測定１１４を組み込むことである。これらの即時的ＱｏＥ測定を混ぜ合わせる１つの方法は、それらを蓄積し、そして、式（１１）の式を使用するような、即時的ＱｏＥ測定の移動平均を計算することである。

上述した例において、スムーズさ品質の評価及びＱｏＥ測定（又はＱｏＥスコア）の評価が、受信側で実施されることが記述されているが、それらは、ユーザ・ディスプレイ・デバイスで実施されることに限定されないことは認識されるであろう。ユーザ・ディスプレイ・デバイス２０６は、その中に組み込まれた計算機ハードウェアユニットを有するが、これらの評価を実施するために使用されるかもしれない。しかしながら、ユーザ・ディスプレイ・デバイスは、ほんの限定された計算機パワーしか有しないかもしれない。従って、携帯電話又はウェアラブル・ディスプレイ・デバイスであるかもしれない、ユーザ・ディスプレイ・デバイスよりも、より計算機パワーがある傾向にある、エッジサーバー２０８又はクラウドサーバー２１６によって評価は実施されるかもしれない。エッジサーバー２０８又はクラウドサーバー２１６は、プレゼンテーション品質評価、再生スムーズさ品質評価、即時的又は全体のＱｏＥ評価、及びエンドオブプロセスＱｏＥ評価のタスクの１又はそれ以上（又は全て）を実施するように構成されるかもしれない。

エッジサーバー２０８はまた、そのエッジサーバーのストレージ・デバイスに対して、ディスプレイ・パラメータ及び視聴条件パラメータのようなディスプレイ・デバイスのデバイス固有パラメータを受信し及び保存するように、そのエッジサーバーがエンドユーザの視聴条件及びディスプレイ・デバイスに対して適合するＶＱＡ方法を実施できるように、構成されるかもしれない。このようにして、あるアプリケーション（例えば、多数のエンドユーザ・ディスプレイ・デバイスに対してＱｏＥスコアをモニタしそして記録すること）のために、エッジサーバー２０８は、視聴デバイス及び視聴条件適応力で、これらの評価及び測定を実施するように構成されるかもしれない。

クラウドサーバー２１６はまた、ビデオ・ホスティング・サーバー２０２、エッジサーバー２０８、及び／又はディスプレイ・デバイス２０６からの情報を受信し、保存するように構成されるかもしれない。そのような情報は、ビデオ・ホスティング・サーバーで実施されるフルリファレンスＶＱＡ評価の結果、及び／又は、ディスプレイ・パラメータ及び視聴条件パラメータのようなクラウドサーバーのストレージ・デバイスに対してディスプレイ・デバイスのデバイス固有のパラメータ、を含むかもしれないが、クラウドサーバーがディスプレイ・デバイス及びエンドユーザの視聴条件に適合するＶＱＡ方法を実施できるようにする。このようにして、あるアプリケーション（多数のエンドユーザのディスプレイ・デバイスに対してＱｏＥスコアをモニタ及び記録すること）のために、クラウドサーバー２１６は、ディスプレイ・デバイス２０６の与えれたリストをモニタし、そして、視聴デバイス及び視聴条件適応力でこれらの評価及び測定を実施するように構成されるかもしれない。

理解され得るように、サーバーは一般に、品質スコアを算出するためにコンピュータ命令を実行できるプロセッサを有する専用のコンピュータ・ハードウェアである。受信機（ｒｅｃｅｉｖｅｒ）は、ポータブル・コンピュータ、タブレット型コンピュータ、スマート携帯電話ヘッドセット、ウェアラブル・ディスプレイ又は視聴デバイスのような、その他の中でも、計算機ハードウェアユニットを含む、ポータブル計算機であるかもしれない。計算機ハードウェアユニットは、ストレージ・デバイスに保存されたコンピュータ命令を実行するか、又は、離れた位置からネットワークを介して受信されたコンピュータ命令を実行するか、のいずれかを実行するかもしれない。命令が計算機ハードウェア（又は、より具体的に単数又は複数のマイクロプロセッサ）によって実行されるとき、サーバ又は受信機（ｅｒｅｃｅｉｖｅｒ）は、上述したような品質スコアを計算するであろう。

より一般的に、サーバー又は受信機は、そこに保存された又は受信された命令を実行する単数又は複数のハードウェアユニット（記述の容易性のために、以下において、サーバー又は受信機は単数のハードウェアユニットのみを有すると仮定されるが、本発明は、そのような単数のハードウェアユニット構成に限定されない）を含む。命令は、ハードウェアユニットに接続されるか又はその一部を形成するストレージ・デバイスに保存されるかもしれず、或いは、その命令の実行の期間においてそのハードウェアユニットに伝送されるかもしれない。ハードウェアユニットの非限定的な例は、図５に図解される。ハードウェアユニットが、図５において図解されるそれらよりも多くの構成要素を含むかもしれず、或いは、より少ないかもしれないことは理解されるであろう。ハードウェアユニット５００は、１又はそれ以上のマイクロプロセッサ又はＣＰＵ５０２（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、トランジェント・メモリ・デバイス５０４及び長期保存デバイス５０６のような１又はそれ以上のメモリ・ストレージ・デバイス、局所デバイスへの接続のための幾つかの局所及び通信ポート５０８、通信ネットワーク２０４への接続のためのネットワーク・インターフェイス５１０、及び、あるプログラムされた機能を実施するためのマイクロプロセッサ又はＣＰＵ５０２上で実行する１又はそれ以上のアプリケーション・モジュール５１２をしばしば含む、計算機パワーを備えるあるハードウェア・デバイス又はコンピュータまたはサーバであるかもしれない。ハードウェア・ユニットは、マイクロプロセッサ又はＣＰＵ上で同時に実行する幾つかのアプリケーション・モジュールを有するかもしれない。しかしながら、アプリケーション・モジュールがマイクロプロセッサ又はＣＰＵに特定の機能を実施する（例えば、ＶＱＡユニットが品質評価オペレーションを実施する）ようにさせることは文脈から明らかであろう。文脈が、参照されるものがハードウェア・ユニットであるかどうかを示す、又は、固有のモジュールを唯一に特定することがないかもしれないところ、本記述において明示的に特定されるであろう。このようにして、アプリケーション・モジュールによって供給される記述されたような機能は、プログラムの命令によってプログラムされるように、ハードウェア・ユニットによって供給されるようなものと同じであると理解されるであろう。同様にして、ハードウェア・ユニットが、機能を実施するように記述されるとき、ハードウェア・ユニットは、アプリケーション・モジュール又は保存若しくは受信されるモジュールノーリファレンス命令により構成されるような機能を実施することが理解されるであろう。命令は、一時的ではない物理的な媒体（単数又は複数）に、例えば、長期ストレージ・デバイス５０６上に保存されるかもしれないか、又は、ネットワーク・インターフェイス５１０でネットワーク接続を渡って受信されるかもしれない。命令がマイクロプロセッサ又はＣＰＵ５０２によって実行されるとき、ここにおいて記述されるように、機能（例えば、ＶＱＡ機能）又は方法（例えば、ＱｏＥを測定する方法）をハードウェア・ユニットが実施するようにさせる。

ＱｏＥを測定する方法の例は、図１を参照して記述されてきた。認識され得るように、１つのコンピュータ・ハードウェア・ユニット５００（又は、幾つかのコンピュータ・ハードウェア・ユニット）は、例えば保存された又は受信された命令を使用してマイクロプロセッサ又はＣＰＵ５０２をプログラミングすることにより、適切に構成されると、ＱｏＥを測定するためのコンピュータ・システム内に配列された機能ユニットとして、見られるかもしれない。

図６は、本発明によると、ＱｏＥを測定するためのコンピュータ・システムを図解する図である。

図６を参照して、システム６００は、プレゼンテーション品質評価ユニット６０２、再生スムーズさ品質評価ユニット６０４、ＱｏＥ評価ユニット、及び、オプションとして、エンドオブプロセスＱｏＥ蓄積ユニット６０８を有する。システム６００は、ここにおいて記述されるようにプロセスを実行するように構成されると、ストリーミング・ビデオのＱｏＥを、即ちシステムへの入力のＱｏＥを測定し、そして、エンドオブプロセスＱｏＥスコア若しくは即時的ＱｏＥスコアの出力として生成する。

これらのユニットは、ネットワーク接続（及び／又は、もし同じハードウェア・ユニット内にあるならデータ接続）によって接続される。これらのユニットは全て、同じハードウェア・ユニット内に存在する（即ち、同じハードウェア・ユニットによってホストされる）か、又は、各々が異なるハードウェア・ユニット内にあるかもしれず、又は、そのユニットの幾つかは１つのハードウェア・ユニット内に及びその他は異なるハードウェア・ユニット内にあるかもしれない。例えば、プレゼンテーション品質評価ユニット６０２は、ビデオ・ホスティング・サーバー２０２内に存在する（即ち、統合されている）かもしれず、一方、再生スムーズさ品質評価ユニット６０４、ＱｏＥ評価ユニット６０６、及び、オプションのエンドオブプロセスＱｏＥ蓄積ユニット６０８は、エンドユーザのディスプレイ・デバイス２０６内に存在するかもしれない。或いは、再生スムーズさ品質評価ユニット６０４、ＱｏＥ評価ユニット６０６、及び、オプションのエンドオブプロセスＱｏＥ蓄積ユニット６０８は、エッジサーバ２０８又はクラウドサーバ２１６内に存在する（即ち、統合されている）かもしれない。或いは、更なる代替として、エッジサーバ２０８又はクラウドサーバ２１６は、プレゼンテーション品質評価ユニット６０２、再生スムーズさ品質評価ユニット６０４、ＱｏＥ評価ユニット６０６、及び、オプションのエンドオブプロセスＱｏＥ蓄積ユニット６０８、の全てをホストしているかもしれない。

プレゼンテーション品質評価ユニット６０２は、ストリーミング・ビデオのビデオフレームの各々に対して、ストリーミング・ビデオＰ_１、Ｐ_２、・・・Ｐ_ｎ等のビデオ・プレゼンテーション品質評価を測定及び生成する。即時的ビデオ・プレゼンテーション品質測定Ｐ_ｎは、図１を参照して記述される妥当なビデオ品質評価方法の如何なるものを使用して見積もられるかもしれない。別々に、再生スムーズさ品質評価ユニット６０４は、ユーザのディスプレイ・デバイスで体験されるインストール・イベント、フルに若しくは部分的になされるフレームの即時的ビデオ・プレゼンテーション品質、の如何なるものも追跡し、そして、過去における第ｋ番目のストール・イベントによる時間ｎでのスムーズさ品質（又は、実際には、劣化効果）を表すスムーズさ品質測定Ｓ^ｋ _ｎを生成する（即ち、見積もる）。これらのスムーズさ品質Ｓ^ｋ _ｎから、再生スムーズさ品質評価ユニット６０４は、例えば、式（７）に置けるように全てのスムーズさ品質測定Ｓ^ｋ _ｎを加えることにより、全てのストール・イベント（過去及び現在）を考慮に入れる、時間ｎでの即時的スムーズさ品質測定Ｓ_ｎを算出する。即時的ビデオ・プレゼンテーション品質測定Ｐ_ｎ及び即時的スムーズさ品質測定Ｓ_ｎは、例えば、その２つの品質測定の最大又は最小を取ることにより、その２つの測定の加重総和により、その２つの測定を掛け算することにより、又は、式（１０）によるこれらの２つの品質測定を加算することにより、即時的ＱｏＥ測定１１４内に結合するためにＱｏＥ評価ユニット６０６に送られる。この即時的ＱｏＥ測定は、システム６００の出力として、更なるプロセッシング又は利用のために他のシステムに、供給されるかもしれない。例えば、そのようなＱｏＥ測定は、メディア・ストリーミング・システム及びサービスを最適化するために、クライアント・サイドで認識された品質を知らせるために、ストリーミング・ビデオ・サーバへのフィードバックとして使用されるかもしれない。或いは、クライアント・サイドで認識される品質としてＱｏＥ測定をモニタ又は記録するためのモニタリング・システムに供給されるかもしれない。加えて、全体のモニタされたセッションに対するＱｏＥを示す（即ち、ＱｏＥの見積もりとして使用する）単一体、即ち、１つのエンドオブプロセスＱｏＥ測定に、全体のモニタされたセッションに渡って各フレームでの即時的ＱｏＥ測定を結合させるため、この即時的ＱｏＥ測定は、エンドオブプロセスＱｏＥ蓄積ユニット６０８へと供給されるかもしれない。

本発明の種々の実施例は、詳細に記述されてきた。多くの変更、適合、及び変動が、添付される請求項によって規定される、本発明の範囲から離れることなく、実施例になされるかもしれないことを、当業者は認識するであろう。請求項の範囲には、例又はその詳細な記述において説明されるこれらの実施例に限定されることなく、全体として記述に一致する最も広い解釈が与えられるべきである。

Claims

ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、時間ｔと共に単調に減少し及び品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、ｔと共に単調に減少し及びメモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含む方法。
請求項１の方法であって、更に、
ストリーミング・セッションの全体のエンドオブプロセスＱｏＥスコアを得るためにストリーミング・セッションの開始より、全ての時間ポジッションで生成された即時的ＱｏＥスコアを蓄積するステップ、を含む方法。
請求項１の方法であって、ストール・イベントの寄与が、ストール・イベントの発生の直前にプレゼンテーション品質に基づき算出されることを特徴とする方法。
請求項３の方法であって、ストール・イベントの寄与が、ストール・イベントの発生の前にビデオフレームのプレゼンテーション品質測定に基づき算出されることを特徴とする方法。
請求項４の方法であって、ビデオフレームが、ストール・イベントの発生の直前に十分に実施されたフレームであることを特徴とする方法。
ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、時間ｔと共に単調に減少し及び品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、メモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含み、
メモリエフェクトが、時間の経過により単調に減少しそして飽和するメモリ関数によって表されることを特徴とする方法。
ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、時間ｔと共に単調に減少する品質減衰関数であり且つ品質ディケイエフェクトに対応し、ｍ（ｔ）は、メモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含み、
メモリエフェクトが、ヘルマン・エビングハウスの忘却曲線によって表されることを特徴とする方法。
ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、ｔと共に単調に減少し及びメモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含み、
品質ディケイエフェクトが、時間の経過により単調に減少しそして飽和する関数によって表されることを特徴とする方法。
ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、ｔと共に単調に減少し及びメモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含み、
品質ディケイエフェクトが、指数関数的減衰関数によって表されることを特徴とする方法。
請求項１の方法であって、再生スムーズさ品質測定が、初期バッファリング及び再生ストール・イベントの時間ポジッション及び持続期間を利用して評価されることを特徴とする方法。
請求項１０の方法であって、ストール・イベント中の再生スムーズさ品質測定が、ストール・イベントの開始の前に最後に実施されたビデオフレームのプレゼンテーション品質測定を利用して評価されることを特徴とする方法。
請求項１１の方法であって、再生スムーズさ品質測定が、ストール・イベントによって引き起こされる再生スムーズさ品質の劣化によって減少させられ、そして、初期バッファリング又は再生ストールの何れかにより、その劣化が、ストール・イベントの前のプレゼンテーション品質測定と共に減少するというモデルによって評価されることを特徴とする方法。
請求項１２の方法であって、ストール・イベントによって引き起こされる劣化が、最後に実施されたビデオフレームのプレゼンテーション品質測定に比例することを特徴とする方法。
請求項１の方法であって、Ｑが、ストール・イベント

の発生の前に最後に十分に実施されたフレームのプレゼンテーション品質測定であることを特徴とする方法。
ストリーミング・ビデオのストリーミング・セッションの体感品質（ＱｏＥ）測定を生成させる方法であって、そのストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから受信側のユーザ視聴デバイスへとネットワーク接続を渡って伝送され、
ストリーミング・ビデオのプレゼンテーション品質測定を得るステップと、
ストリーミング・セッションの間の全てのストール・イベントの発生を追跡するステップと、
ストリーミング・ビデオの再生スムーズさ品質測定を得るステップと、ここで、再生スムーズさ品質測定はストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合させることにより受信側で評価され、ストール・イベントからの寄与が、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、メモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び
プレゼンテーション品質測定及び再生スムーズさ品質測定を組み合わせることにより即時的ＱｏＥスコアを生成するステップと、を含み、
品質減衰関数ｄ（ｔ）が、ｄ（ｔ）＝－１＋ｅｘｐ｛－（（ｔｆ－ｉ_ｋ）／Ｔ_０）｝のフォームを有し、そして、メモリ関数ｍ（ｔ）が、第ｋ番目のストール・イベントにおいて時間ｔに対して、ｍ（ｔ）＝ｅｘｐ｛－（（ｔｆ－ｉ_ｋ－ｌ_ｋ）／Ｔ_１）｝のフォームを有し、そして、Ｔ_０及びＴ_１は、それぞれ、不満足の割合及び記憶の相対的強度を表すように選択される２つのパラメータであることを特徴とする方法。
請求項１５の方法であって、パラメータＴ_０及びＴ_１は、Ｔ_０＞Ｔ_１となるように選択されることを特徴とする方法。
請求項１の方法であって、再生スムーズさ品質測定が、個々のストール・イベントからの寄与を加算することにより全ストール・イベントによる寄与から統合されることを特徴とする方法。
請求項１７の方法であって、プレゼンテーション品質測定及び再生スムーズさ品質測定が、プレゼンテーション品質測定及び再生スムーズさ品質測定を加算することにより即時的ＱｏＥスコアを生成するために、統合されることを特徴とする方法。
請求項１７の方法であって、プレゼンテーション品質測定及び再生スムーズさ品質測定が、２つの品質測定を掛け算することにより、２つの品質測定を加重総和することにより、又は、２つの品質測定の最大値及び最小値を取ることにより、即時的ＱｏＥスコアを生成するために、統合されることを特徴とする方法。
請求項１の方法であって、プレゼンテーション品質測定は、ストリーミング・ビデオのオリジナルなソースから生成されたテストビデオの品質をリファレンスとしてオリジナルなソースビデオの品質と比較するフルリファレンス・ビデオ品質評価方法から生成される、又は、オリジナルなソースビデオへのアクセスが必要とされないノーリファレンス・ビデオ品質評価方法から生成される、ことを特徴とする方法。
請求項２０の方法であって、ビデオ品質評価方法が、エンドユーザの視聴条件及びユーザ視聴デバイスに適合されることを特徴とする方法。
請求項２０の方法であって、フルリファレンス・ビデオ品質評価方法によって評価されるテストビデオが、リファレンス・ビデオのレゾルーションとは異なる空間及び／又は時間レゾルーションを有することを特徴とする方法。
請求項１の方法であって、プレゼンテーション品質測定が、サーバ側で生成され、そして、ネットワーク接続を渡って受信側に伝送されることを特徴とする方法。
請求項１の方法であって、プレゼンテーション品質測定が、受信側で生成されることを特徴とする方法。
請求項２４の方法であって、再生スムーズさ品質測定が、ユーザ視聴デバイスで生成されることを特徴とする方法。
請求項１の方法であって、プレゼンテーション品質測定がネットワークされたサーバにより生成されることを特徴とする方法。
請求項２６の方法であって、ネットワークされたサーバがクラウドサーバであることを特徴とする方法。
請求項２６の方法であって、ネットワークされたサーバが受信側のエッジサーバであることを特徴とする方法。
請求項２６の方法であって、ネットワークされたサーバが、エンドユーザの視聴条件及びユーザ視聴デバイスを記述するパラメータを受け取り、そして、プレゼンテーション品質測定が、視聴デバイス及び視聴条件適応力を有するビデオ品質評価方法を用いて生成されることを特徴とする方法。
請求項１の方法であって、再生スムーズさ測定が、ネットワークされたサーバによって生成されることを特徴とする方法。
請求項３０の方法であって、ネットワークされたサーバが、クラウドサーバであることを特徴とする方法。
請求項３０の方法であって、ネットワークされたサーバが、受信側のエッジサーバであることを特徴とする方法。
請求項１の方法であって、更に、ストリーミング・セッションに渡って即時的ＱｏＥ測定を蓄積することによりエンドオブプロセス・ユーザＱｏＥを測定するステップを含むことを特徴とする方法。
請求項３３の方法であって、エンドオブプロセス・ユーザＱｏＥが、ストリーミング・セッションに渡る即時的ＱｏＥ測定を平均化する移動平均法を使用して評価されることを特徴とする方法。
ストリーミング・ビデオのユーザ体感品質（ＱｏＥ）を測定するためのシステムであって、ストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから、受信側のユーザ視聴デバイスへと、ネットワーク接続を渡って伝送され、
プレゼンテーション品質評価ユニットと、ここで、そのプレゼンテーション品質評価ユニットはストリーミング・ビデオのプレゼンテーション品質測定を生成又は獲得し、
再生スムーズさ品質評価ユニットと、ここで、その再生スムーズさ品質評価ユニットは、ストリーミング・セッションの間の全てのストール・イベント発生を追跡し、そして、ストリーミング・ビデオを再生するユーザ視聴デバイスで認識される再生スムーズさ品質の再生スムーズさ品質測定を生成し、そのスムーズさ品質測定の生成は、ストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合し、ストール・イベントからの寄与は、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、時間ｔと共に単調に減少し及び品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、ｔと共に単調に減少し及びメモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び、
ＱｏＥ評価ユニットと、を含むシステムであって、ここで、そのＱｏＥ評価ユニットは、プレゼンテーション品質測定及び再生スムーズさ品質測定を結合して即時的ＱｏＥスコアに統合することを特徴とするシステム。
請求項３５のシステムであって、更に、エンドオブプロセスＱｏＥユニットを含み、そのエンドオブプロセスＱｏＥユニットは、全ての即時的ＱｏＥスコアを蓄積し、そして、それらをストリーミング・セッションの単一の全体のエンドオブプロセスＱｏＥスコアに統合することを特徴とするシステム。
請求項３５のシステムであって、再生スムーズさ品質評価ユニットは、ストール・イベントの発生直前のプレゼンテーション品質に基づきストール・イベントの寄与を算出するように構成されることを特徴とするシステム。
請求項３７のシステムであって、プレゼンテーション品質評価ユニットは、ビデオ・ホスティング・サーバに組み込まれ、そして、プレゼンテーション品質評価ユニットは、ストール・イベントの発生前のビデオフレームのプレゼンテーション品質に基づきストール・イベントの寄与を算出することを特徴とするシステム。
請求項３５のシステムであって、プレゼンテーション品質評価ユニットは、ネットワークされたサーバに組み込まれることを特徴とするシステム。
請求項３９のシステムであって、ネットワークされたサーバは、サーバ側から伝送されたプレゼンテーション品質測定を得るクラウドサーバであることを特徴とするシステム。
請求項３９のシステムであって、ネットワークされたサーバは、サーバ側から伝送されたプレゼンテーション品質測定を得るための受信側のエッジサーバであることを特徴とするシステム。
請求項３９のシステムであって、ネットワークされたサーバは、受信側のプレゼンテーション品質測定を生成するため受信側のエッジサーバであることを特徴とするシステム。
請求項３９のシステムであって、ネットワークされたサーバは、エンドユーザの視聴条件及びユーザ視聴デバイスを記述するパラメータを受け取り、そして、プレゼンテーション品質測定は、視聴デバイス及び視聴条件適応力を有するビデオ品質評価方法を用いて生成されることを特徴とするシステム。
請求項３９のシステムであって、再生スムーズさ品質評価ユニットは、ネットワークされたサーバに統合されることを特徴とするシステム。
請求項３５のシステムであって、再生スムーズさ品質評価ユニットは、ネットワークされたサーバに統合されることを特徴とするシステム。
請求項４５のシステムであって、ネットワークされたサーバはクラウドサーバであることを特徴とするシステム。
請求項４５のシステムであって、ネットワークされたサーバは、受信側で再生スムーズさ測定を生成するための受信側のエッジサーバであることを特徴とするシステム。
請求項３５のシステムであって、再生スムーズさ品質評価ユニットは、メモリエフェクトを表すために時間が経つと飽和する関数を使用することを特徴とするシステム。
請求項３５のシステムであって、再生スムーズさ品質評価ユニットは、時間が経つと飽和する、品質ディケイエフェクトを表す関数を使用することを特徴とするシステム。
請求項３５のシステムであって、再生スムーズさ品質評価ユニットは、初期バッファリング及び再生ストール・イベントの時間ポジッション及び持続期間を利用して、再生スムーズさ品質測定を評価することを特徴とするシステム。
請求項５０のシステムであって、ストール・イベントの間の再生スムーズさ品質測定は、ストール・イベントの開始前に、最後に実施されたビデオフレームのプレゼンテーション品質測定を利用して評価されることを特徴とするシステム。
請求項５１のシステムであって、再生スムーズさ品質測定は、ストール・イベントによって引き起こされる再生スムーズさ品質の劣化により減少し、そして、その劣化は、初期バッファリング又は再生ストールの何れかにより、その劣化がストール・イベントの前に最後に実施されたビデオフレームのプレゼンテーション品質測定と共に増加するモデルにより評価されることを特徴とするシステム。
請求項３５のシステムであって、Ｑが、ストール・イベント

の発生の前に最後に十分に実施されたフレームのプレゼンテーション品質測定であることを特徴とするシステム。
ストリーミング・ビデオのユーザ体感品質（ＱｏＥ）を測定するためのシステムであって、ストリーミング・ビデオは、サーバ側のビデオ・ホスティング・サーバから、受信側のユーザ視聴デバイスへと、ネットワーク接続を渡って伝送され、
プレゼンテーション品質評価ユニットと、ここで、そのプレゼンテーション品質評価ユニットはストリーミング・ビデオのプレゼンテーション品質測定を生成又は獲得し、
再生スムーズさ品質評価ユニットと、ここで、その再生スムーズさ品質評価ユニットは、ストリーミング・セッションの間の全てのストール・イベント発生を追跡し、そして、ストリーミング・ビデオを再生するユーザ視聴デバイスで認識される再生スムーズさ品質の再生スムーズさ品質測定を生成し、そのスムーズさ品質測定の生成は、ストリーミング・セッションの開始より全てのストール・イベントからの寄与を結合し、ストール・イベントからの寄与は、

の表現から算出され、
ここで、ストール・イベントはｉ _ｋで開始し長さｌ _ｋを有する第ｋ番目のストール・イベントであり、ストールは期間［ｉ _ｋ，ｉ _ｋ＋ｌ _ｋ］の間に起こり、ｆは、フレーム／秒におけるストリーミング・ビデオのフレーム速度であり、ｄ（ｔ）は、品質ディケイエフェクトに対応する品質減衰関数であり、ｍ（ｔ）は、メモリエフェクトに対応するメモリ関数であり、そして、Ｑは、ストール・イベントの発生の前のストリーミング・ビデオのプレゼンテーション品質の測定であり、及び、
ＱｏＥ評価ユニットと、を含むシステムであって、ここで、そのＱｏＥ評価ユニットは、プレゼンテーション品質測定及び再生スムーズさ品質測定を結合して即時的ＱｏＥスコアに統合し、
品質減衰関数ｄ（ｔ）が、ｄ（ｔ）＝－１＋ｅｘｐ｛－（（ｔｆ－ｉ_ｋ）／Ｔ_０）｝のフォームを有し、そして、メモリ関数ｍ（ｔ）が、第ｋ番目のストール・イベントにおいて時間ｔに対して、ｍ（ｔ）＝ｅｘｐ｛－（（ｔｆ－ｉ_ｋ－ｌ_ｋ）／Ｔ_１）｝のフォームを有し、そして、Ｔ_０及びＴ_１は、それぞれ、不満足の割合及び記憶の相対的強度を表すように選択される２つのパラメータであることを特徴とするシステム。
請求項５４のシステムであって、パラメータＴ_０及びＴ_１は、Ｔ_１＞Ｔ_０となるように選択されることを特徴とするシステム。
請求項３５のシステムであって、ＱｏＥ評価ユニットは、再生スムーズさ品質測定を得るために個々のストール・イベントからの寄与を加算するように構成されることを特徴とするシステム。
請求項５６のシステムであって、ＱｏＥ評価ユニットは、即時的ＱｏＥスコアを生成するため再生スムーズさ品質測定及びプレゼンテーション品質測定を加算するように構成されることを特徴とするシステム。
請求項５６のシステムであって、ＱｏＥ評価ユニットは、プレゼンテーション品質測定及び再生スムーズさ品質測定を掛け算することにより、２つの品質測定を加重総和することにより、又は、２つの品質測定の最大値及び最小値を取ることにより、即時的ＱｏＥスコアを生成するように構成されることを特徴とするシステム。
請求項３５のシステムであって、プレゼンテーション品質評価ユニットは、ストリーミング・ビデオのオリジナルなソースから生成されたテストビデオの品質を、リファレンスとしてオリジナルなソースビデオの品質と比較するフルリファレンス・ビデオ品質評価方法から、又は、オリジナルなソースビデオへのアクセスが必要とされないノーリファレンス・ビデオ品質評価方法から、プレゼンテーション品質測定を生成するように構成されることを特徴とするシステム。
請求項５９のシステムであって、ビデオ品質評価方法は、エンドユーザの視聴条件及びユーザ視聴デバイスに適合されることを特徴とするシステム。
請求項５９のシステムであって、フルリファレンス・ビデオ品質評価方法によって評価されるテストビデオが、リファレンス・ビデオのレゾルーションとは異なる空間及び／又は時間レゾルーションを有することを特徴とするシステム。
コンピュータ・デバイスのプロセッサによって実行されるとき、請求項１から３４の何れか１項による、ストリーミング・ビデオのユーザ体感品質を測定する方法をそのコンピュータ・デバイスが実施するようにさせる、コンピューター読み取り可能なコードを保存した、一時的ではないコンピューター読み取り可能な媒体。