JP5384444B2 - 映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末 - Google Patents

Description

本発明は、映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に係り、特に、映像の再生品質を可視化するための映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に関する。

従来、IPネットワーク上で提供される映像配信サービスのユーザが、IPネットワークを通じて映像を正確に受信して再生できるか確認する方法として、体感品質を推定する技術（例えば、特許文献１，２）や、映像配信事業者のWebサイト上に設置されるIPネットワークの利用可能帯域幅の測定（スピードテスト）が使われている（例えば、非特許文献１参照）。

特開２００７−３２９７７５号公報 特開２００８−５１０８号公報

"goo スピードテスト"、エヌ・ティ・ティレゾナント株式会社 http://speedtest.goo.ne.jp/flash.htm

しかしながら、特許文献１，２の体感品質を推定する技術は、単にメディア再生の品質を推定するのみで、再生品質が低いと感じられた場合であっても、ユーザがその原因や対応を認識することはできない。

特に不特定多数を対象とするIPネットワークを介した映像配信サービスでは、符号化方式として利用されるH.264方式やVC-1方式等は多大な演算量を必要とするため、非特許文献１のスピードテストで帯域幅が十分確保されていると判断されても、ユーザの受信・再生端末の演算速度やメモリ量が不十分であれば映像の再生を失敗する。このためサービス事業者が推奨端末や端末性能を示している場合があるが、セットトップボックス・パーソナルコンピュータ（PC）・携帯電話等、映像の受信・再生端末の多様化が進んでいるため、映像配信サービスが対象とする全ての端末で正常に映像を受信・再生できるかユーザやサービス事業者が確認することは難しい。

また、サービス事業者が奨励端末や端末性能を示していない場合もある。更にIPネットワーク上ではIPパケットが損失する可能性があるが、非特許文献１のスピードテストではIPパケットの損失をユーザが検出することはできない。従って、ユーザは映像の再生状態を把握できず、かつ映像の再生に問題が発生した場合に、問題の原因を特定することが困難である。

本発明は上記の点に鑑みなされたもので、映像配信サービスのユーザが自らの映像再生環境に適した映像配信サービスの選択を可能とし、映像の再生に問題となっている原因を効率的に調査することが可能な映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末を提供することを目的とする。

上記の課題を解決するために、本発明（請求項１）は、IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
前記映像配信サーバは、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記ユーザの受信・再生端末は、
前記映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
前記表示手段は、
前記受信・再生端末情報、前記映像復号化手段で復号された復号映像、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む前記可視化パラメータを表示する手段を含む。

また、本発明（請求項２）は、請求項１の表示手段で表示される前記受信・再生端末情報に、当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況（成功もしくは失敗）を含む。

また、本発明（請求項３）は、請求項１の表示手段で表示される前記符号化パラメータに、映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。

また、本発明（請求項４）は、請求項１の前記表示手段で表示される前記可視化パラメータに、
前記ユーザの受信・再生端末で受信したIPパケット損失情報（パケット損失率，パケット損失数，遅延，ジッタ）と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むＩＰネットワーク状態情報を含む。

また、本発明（請求項５）は、請求項１乃至４の前記表示手段において、所定の閾値に基づいて、前記可視化パラメータを強調表示する。

また、本発明（請求項６）は、IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含む。

また、本発明（請求項７）は、IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
を含み、
前記表示手段で表示される前記可視化パラメータは、
前記受信・再生端末情報、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む。

また、本発明（請求項８）は、請求項７において、前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況（成功もしくは失敗）を含み、
前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。

また、本発明（請求項９）は、請求項７において、前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報（パケット損失率，パケット損失数，遅延，ジッタ）と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むＩＰネットワーク状態情報を含む。

また、本発明（請求項１０）は、請求項７の前記表示手段において、
所定の閾値に基づいて、前記可視化パラメータを強調表示する。

また、本発明（請求項１１）は、前記映像配信サーバ（または、品質管理サーバ）において、請求項７，８，９，１０のいずれかに記載したユーザの受信・再生端末内の情報を、ＩＰネットワーク経由で取得する。

従来の技術では、IPネットワーク上で提供される映像配信サービスのユーザが、映像の再生状態を正しく把握できず、映像の再生に問題があった場合に、問題点を把握することが難しかった。しかし、本発明により、映像配信サービスのユーザが、映像の再生状態を正しく理解することが可能となり、自らの映像再生環境に適した映像配信サービスを選択できるようになると共に、映像の再生に問題となっている原因を効率的に調査することが可能となる。映像配信サービスのサービス事業者やネットワーク事業者にとっても、サービスの問題点を迅速に把握することが可能となる。

本発明の一実施の形態におけるシステム構成図である。 本発明の一実施の形態におけるシステムの動作のフローチャートである。 本発明の一実施の形態におけるシステムのシーケンスチャートである。 本発明の一実施の形態におけるユーザの受信・再生端末のモニタの画面イメージである。 本発明の一実施の形態における異常時のユーザの受信・再生端末のモニタの画面イメージである。

以下図面と共に、本発明の実施の形態を説明する。

以上の問題を解決するために、本発明では、映像配信サービスのユーザやサービス事業者のリクエストに応じて、ユーザの再生端末やIPネットワークの状態から、オンデマンドで映像の再生が可能であるか確認するための映像品質確認システムを示す。

図１は、本発明の一実施の形態におけるシステム構成を示す。

同図に示すシステムは、ユーザの受信・再生端末１００、映像配信サーバ３００、ユーザの受信・再生端末１００と映像配信サーバ３００を接続するＩＰネットワーク２００から構成される。

映像配信サーバ３００は非圧縮の映像データを蓄積している映像データベース３０１と、映像配信サーバ３００内で映像を符号化する映像符号化部３０２と、符号化された映像を蓄積する映像蓄積部３０３と、映像配信サーバ３００内で符号化された映像データを、IPネットワーク２００を介してユーザの受信・再生端末１００に送信する映像送信部３０４と、映像品質の客観評価を行う客観評価部３０５と、ユーザの受信・再生端末１００と符号化パラメータやネットワークの状態に関するパラメータや客観評価値の送受信を行うデータ受信部３０６やデータ送信部３０７、表示装置（モニタ）３０８から構成される。

一方、ユーザの受信・再生端末１００は、映像配信サーバ３００から送信された映像データを受信する映像受信部１０１と、受信した映像を一時的に記録するメモリ１０２と、符号化された映像データを復号するための演算処理を行う映像復号化部１０３と、映像の符号化パラメータとネットワークの状態に関するパラメータと受信・再生端末情報を映像配信サーバ３００に送信可能なデータ送信部１０４と、映像配信サーバ３００のデータ送信部３０７から送信された客観評価値を受信するデータ受信部１０５と、ユーザの受信・再生端末１００で、再生された映像、客観評価値、映像の符号化パラメータ、ネットワーク情報、受信・再生端末情報を表示する表示端末（モニタ）１０６から構成される。

次に、上記のシステム構成における動作を説明する。

図２は、本発明の一実施の形態におけるシステムの動作のフローチャートであり、図３は、本発明の一実施の形態におけるシステムのシーケンスチャートである。図２と図３のステップ番号と以下のステップ番号は対応している。

ステップ１０１） まず、映像配信サービス事業者が設定する品質可視化用Webページにユーザがアクセスすることが、本実施の形態で規定する品質可視化処理を開始するトリガとなる。

ステップ１０２） ユーザが品質可視化用Webページを開くと、映像配信サーバ３００の映像データベース３０１内の予め決められた非圧縮映像RV1、もしくはユーザが選択した非圧縮映像RV1を、符号化後にユーザの受信・再生端末１００に送信するようにプログラムされている。但し、ユーザの代わりにサービス／ネットワーク事業者が同様の処理を行っても良い。また、該当映像が映像蓄積部３０３に蓄積されている場合は、蓄積されているIPパケット化された符号化映像SCV1を送信しても良い。また映像データベース３０１内の映像データのフォーマットは非圧縮（フォーマットは任意）である。なお映像配信サーバ３００は、IPネットワーク２００を介してユーザの受信・再生端末１００とデータの送受信が可能である。

ステップ１０３） 映像配信サーバ３００の映像符号化部３０２は、品質可視化処理開始後、映像データベース３０１内で予め決められた、もしくはユーザが選択した非圧縮映像データRV1を符号化して符号化ビットストリームCV1を作成し、映像蓄積部３０３に格納する。符号化方式にはH.264方式やMPEG2方式等の様々な方式があり、ビットレートやフレームレートに代表される符号化に必要なパラメータも様々なパターンが想定されるが、本実施の形態では任意の方式や符号化パラメータのパターンを許容する。

次に、映像配信サーバ３００の映像蓄積部３０３では、映像符号化部３０２で作成された符号化ビットストリームCV1を、IPパケット化したデータSCV1として蓄積する。IPプロトコルの上位にUDP（User Datagram protocol）やRTP（Real-time Transport protocol）等の任意のプロトコルを用いて良い。またIPパケット化されたSCV1ではなく、符号化ビットストリームCV1も保存できる。但し、RTP等のIPパケットの損失が検出可能であるプロトコルは必ず用いることとする。なお、映像蓄積部３０３に品質可視化処理用の映像が既に蓄積されている場合は、該当する蓄積映像を用いることにより、前段の符号化処理をスキップすることが出来る。

ステップ１０４） 次に、映像配信サーバ３００の映像送信部３０４は、映像蓄積部３０３で蓄積されているIPパケット化された符号化ビットストリームSCV1をユーザの受信・再生端末１００の映像受信部１０１に向けてIPプロトコル（IETF RFC791）を用いて送信する。映像蓄積部３０３に符号化ビットストリームCV1が蓄積されている場合は、映像送信部３０４でIPパケット化して送信を行う。

ステップ１０５） ユーザの受信・再生端末１００の映像受信部１０１では、映像配信サーバ３００からのIPパケット化された符号化ビットストリームをTCV1として受信する。この際に映像受信部１０１では、受信しているIPパケットのデータ量を検出できるため、単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量である符号化ストリーム帯域幅（単位は任意）、もしくは単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量（単位は任意）を端末が受信可能な最大データ量（単位は任意）で割った値である帯域利用率をNWIとして受信・再生端末１００のモニタ１０６に送ることができる。但し、映像受信部１０１が単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量（単位は任意）は、映像受信部１０１が単位時間当たりに受信した全データ量（単位は任意）に置き換えても良い。

また、映像受信部１０１は、損失したIPパケットがないかを監視して（RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出）、パケットが損失した回数を記憶して、NWIとして受信・再生端末１００のモニタ１０６とデータ送信部１０４に送り、データ送信部１０４を経由して映像配信サーバ３００に送ることができる。なお、損失した回数を記憶する機能はモニタやメモリに持たせても良い。

ステップ１０６） 次に、映像受信部１０１は、TCV1をユーザの受信・再生端末１００が備えるメモリ１０２に格納する。このとき、TCV1からIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード（符号化ビットストリーム）MRCV1を抽出して、メモリ１０２上に作成されるバッファに格納する。メモリ１０２とバッファの使用率は常に計測される。メモリ１０２の使用率は、ユーザの受信・再生端末１００で実行されている全プロセスもしくは映像の受信・再生で利用しているメモリ量（単位は任意）を、ユーザの受信・再生端末１００が備える全メモリ量で除算した値である。バッファの使用率は、バッファに格納された映像データ量（単位は任意）を、全バッファ容量で除算した値である。

また、映像受信部１０１において、IPパケットから符号化ビットストリームを抽出する際に、損失したIPパケットがないかを監視して（RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出）、損失したパケットのID情報（RTPを使っている場合ならRTPシーケンス番号）と損失したパケットの前後のパケットのID情報（RTPを使っている場合ならRTPシーケンス番号）を検出する。

また、映像受信部１０１において、符号化ビットストリームMRCV1やIPパケット化された符号化ビットストリームTCV1に対して、任意の客観評価アルゴリズムを適用して客観評価値OE2を算出しても良い。

データ送信部１０４は、以上で算出したデータをAMRCV1として纏め、映像配信サーバ３００にDATA1として送出する。同時にAMRCV1はユーザの受信・再生端末１００のモニタ１０６に表示される。映像復号化部１０３は、メモリ１０２のバッファに格納された符号化ビットストリームMRCV1に対し画素への復号演算を行い、復号された画素情報DV1を表示端末（モニタ）１０６に出力する。なお、映像復号化部１０３の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、映像復号化部１０３は、同時に復号に使われる演算装置（CPU）の使用率も取得し、モニタ１０６に出力する。

当該CPUの使用率は、ユーザの受信・再生端末１００で実行されている全プロセスが使用しているCPU容量（単位は任意）もしくは映像の受信・再生で利用しているCPU容量（単位は任意）を全CPU容量（単位は任意）で除算を行った値である。

ステップ１０７） データ送信部１０４は、画素への復号時に検出される符号化パラメータDVI1（映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無・復号の成功／失敗）をDATA1に加えて、映像配信サーバ３００に送出すると同時に、表示端末（モニタ）１０６にも出力する。この時に映像配信サーバ３００へ送出するデータとして上記DATA1にユーザの受信・再生端末情報（CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率）や映像受信部１０１から送られたNWIを加えても良く、任意の情報の取捨選択が可能である。

以上の符号化パラメータDVI1は、符号化方式としてITU-T勧告 H.264を使っていれば、ITU-T勧告 H.264内に記載されている復号処理を行うと取得できる情報であり、他の符号化方式についても、該当する標準化勧告や技術文書を参照すると取得できる情報である。なお、DATA1は上記の全データを含む必要は無く、また送付処理は省略可能である。但し、次パラグラフの映像配信サーバ３００内の処理に必要なデータを送付しない場合は、次パラグラフで記載してある映像配信サーバ３００内の処理はスキップされる。

ステップ１０８） 一方、映像配信サーバ３００のデータ受信部３０６では、ユーザの受信・再生端末１００のデータ送信部１０４から送られたDATA1として、損失したIPパケット等に関する情報AMRCV１やNWIと符号化パラメータDVI1と受信・再生端末情報を受信する。そしてモニタ３０８は、映像蓄積部３０３で保存されている送信映像SCV1のIPパケット情報を用いて、ユーザの受信・再生端末で受信した映像データを再現する（損失したIPパケット等に関する情報AMRCVにより、損失したIPパケットのID情報を用いて、損失したIPパケット情報を間引く処理を行う）。映像蓄積部３０３に符号化ビットストリームCV1しか保存されていない場合は、映像送信部３０４からCV1を送出する際のIPパケット化した際の処理を記憶しておき、それに基づいてCV1をIPパケット化してもよい。

映像配信サーバ３００の客観評価部３０５では、映像蓄積部３０３とデータ受信部３０６から出力されるDATA1とSCV１により、ユーザの受信・再生端末１００で受信した映像データを再現したIPパケット（復号して取得できる画素情報を含む）・符号化パラメータと、SCV1を復号化した非圧縮映像情報と、映像データベース３０１に格納されている非圧縮映像情報RV1を用いて客観評価処理を行う。但し、客観評価部３０５はIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード（符号化ビットストーム）を抽出して、ビットストリームを復号する手段を有すると共に、客観評価を行うために任意のアルゴリズムを使用できる。

なお、客観評価部３０５の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、客観評価を行う際には、データ受信部３０６で受信した符号化パラメータ（映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無）が利用可能である。

ステップ１０９） 映像配信サーバ３００の客観評価部３０５は、算出した客観評価値OE1をデータ送信部３０７を通してユーザの受信・再生端末１００のデータ受信部１０５にDATA2として送出する。

ステップ１１０） データ受信部１０５は、映像配信サーバ３００から送信された客観評価値OE1を受信し、モニタ１０６に出力する。また、映像復号化部１０３で復号された復号映像DV1、ステップ１０６でＩＰパケット化された符号化映像の分析結果MRCV1、客観評価値DATA2、ユーザ再生端末情報をモニタ１０６に出力する。なお、DATA2の送付処理は省略可能である。

ステップ１１１） モニタ１０６は、入力されたデータを表示する。

ユーザの受信・再生端末のモニタの画面イメージを図４に示す。ユーザの受信・再生端末１００のモニタ１０５には、
・ユーザの受信・再生端末１００で復号された映像；
・復号映像の客観評価値（OE1、もしくはOE2、OE1が利用不可能の場合は、OE2を表示）；
・符号化パラメータ（ビットレート・フレームレート・解像度・インターレースの有無）；
・ネットワーク情報（映像の受信・再生端末１００で受信したIPパケットの損失数と、映像の受信に使っている利用帯域幅と、受信・再生端末１００内の全プロセスが使っているネットワークの帯域幅）、
・ユーザの受信・再生端末情報（CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号の成功／失敗）
等を表示可能である。なお、映像配信サービスに関わるパラメータであればモニタ１０６に表示できる。

また、モニタ１０６は、各項目には閾値が設定でき、閾値を上回るもしくは下回ることによって、各パラメータの強調表示（文字色・文字大きさ、フォントの変更等）ができる。なお閾値はユーザが任意に設定できる。

これにより、ユーザは、再生された映像に劣化が発生した場合や客観評価値が低下した場合に、その際に強調表示されている項目と比較対象を行うことで品質の劣化要因を推定できる（例えば客観評価値が低下した時に損失パケット数が増加して強調表示された時には、IPパケットの損失が客観品質の低下要因と考えることができる）。

異常時のユーザの受信・再生端末のモニタの画面イメージの例を図５に示す。図５はネットワーク情報の中の損失パケット数が閾値を越えた場合であり、ネットワーク事業者に対して連絡を取るように指示を行っている。同様に符号化パラメータが異常値を取る場合はサービス事業者の連絡先、受信再生端末情報が異常値を取る場合は端末メーカの連絡先を表示することができる。また各事業者やメーカに蓄積されたノウハウに基づいて、具体的な修理に関する指示を表示することもできる。なお、表示端末（モニタ）１０６で表示されている情報は、ＩＰネットワークを介して全て映像配信サーバ３００でも収集できることから、サービス事業者やネットワーク事業者が、映像配信サーバ３００内、もしくはオペレーションセンタに設置してある表示端末（モニタ）で、ユーザの受信・再生端末１００のモニタ１０６に表示されている情報を参照することも可能である。なお、映像配信サーバのみならず、品質管理用サーバを用意して、当該品質管理用サーバにおいて、上記のユーザの受信・再生端末内の情報を、ＩＰネットワークを介して収集するようにすることも可能である。

上記のように、ユーザの受信・再生端末１００には、
・ユーザの受信・再生端末の状態
・符号化パラメータ（異常値の場合は端末メーカの連絡先）
・ＩＰネットワークの状態（異常値の場合の指示）
・修理に関する指示
等が表示されるため、ユーザは、受信・再生端末において映像が正常に再生できるかを判定でき、映像が正常に再生で着ない場合はその原因を推定することが可能となる。

また、上記のユーザの受信・再生端末１００及び映像配信サーバ３００の各構成要素の動作をプログラムとして構築し、受信・再生端末１００、映像配信サーバ３００として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

さらに、構築されたプログラムをハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１００ ユーザの受信・再生端末
１０１ 映像受信部
１０２ メモリ
１０３ 映像復号化部
１０４ データ送信部
１０５ データ受信部
１０６ 表示端末（モニタ）
２００ ＩＰネットワーク
３００ 映像配信サーバ
３０１ 映像データベース
３０２ 映像符号化部
３０３ 映像蓄積部
３０４ 映像送信部
３０５ 客観評価部
３０６ データ受信部
３０７ データ送信部
３０８ 表示端末（モニタ）

Claims (11)

1. IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
   前記映像配信サーバは、
   映像を符号化する映像符号化手段と、
   符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
   符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
   映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
   前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
   を含み、
   前記ユーザの受信・再生端末は、
   前記映像配信サーバから送信された映像データを受信する映像受信手段と、
   受信した映像を一時的に記録する記憶手段と、
   符号化された映像データを復号するための演算処理を行う映像復号化手段と、
   映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
   前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
   前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
   を含み、
   前記客観評価手段は、
   前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
   前記表示手段で表示される前記可視化パラメータは、
   前記受信・再生端末情報、前記符号化パラメータ、及び符号化映像と符号化ビットストリームを分析した分析結果を含む
   ことを特徴とする映像品質可視化システム。
2. 前記表示手段で表示される前記受信・再生端末情報は、
   当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況（成功もしくは失敗）を含む
   請求項１記載の映像品質可視化システム。
3. 前記表示手段で表示される前記符号化パラメータは、
   映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
   請求項１記載の映像品質可視化システム。
4. 前記表示手段で表示する前記可視化パラメータは、
   前記ユーザの受信・再生端末で受信したIPパケット損失情報と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むＩＰネットワーク状態情報を含む
   請求項１記載の使用可能な映像品質可視化システム。
5. 前記表示手段は、
   前記可視化パラメータの各情報項目に対して設定された所定の閾値に基づいて、前記可視化パラメータの情報項目を強調表示する
   請求項１乃至４のいずれか１項に記載の映像品質可視化システム。
6. IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
   映像を符号化する映像符号化手段と、
   符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
   符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
   映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
   前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
   を含み、
   前記客観評価手段は、
   前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて、前記ユーザの受信・再生端末への表示用の客観評価値を算出する評価値算出手段を含む
   ことを特徴とする映像配信サーバ。
7. IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
   映像配信サーバから送信された映像データを受信する映像受信手段と、
   受信した映像を一時的に記録する記憶手段と、
   符号化された映像データを復号するための演算処理を行う映像復号化手段と、
   映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
   前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
   少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
   を含み、
   前記表示手段で表示される前記可視化パラメータは、
   前記受信・再生端末情報、前記符号化パラメータ、及び符号化映像と符号化ビットストリームを分析した分析結果を含む
   ことを特徴とするユーザの受信・再生端末。
8. 前記受信・再生端末情報は、
   当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況（成功もしくは失敗）を含み、
   前記符号化パラメータは、
   映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
   請求項７記載のユーザの受信・再生端末。
9. 前記表示手段で表示する前記可視化パラメータは、
   前記ユーザの受信・再生端末で受信したIPパケット損失情報と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むＩＰネットワーク状態情報を含む
   請求項７記載のユーザの受信・再生端末。
10. 前記表示手段は、
    前記可視化パラメータの各情報項目に対して設定された所定の閾値に基づいて、前記可視化パラメータの情報項目を強調表示する
    請求項７記載のユーザの受信・再生端末。
11. 請求項７乃至１０のいずれか１項に記載したユーザの受信・再生端末内情報を、ＩＰネットワーク経由で取得することを特徴とする映像配信サーバまたは品質管理用サーバ。

Images