JP4927062B2 - メディア品質測定装置、方法及びプログラム - Google Patents

Description

本発明はメディア品質測定装置、方法及びプログラムに関し、例えば、ＩＰベースの映像配信サービスのユーザ体感品質（ＱｏＥ：Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｅｎｃｅ）を測定（推定）する場合に適用し得るものである。

パケット損失時の映像品質推定の精度向上を図った映像品質管理システムとして、特許文献１に記載のものがある。特許文献１に記載の映像品質管理システムは、ユーザ端末側で高レイヤ（レイヤ７）の映像品質（ＱｏＥ）を測定するためのものである。特許文献１に記載の映像品質管理システムでは、ユーザ端末へ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）及びフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を埋め込む。そして、ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別及びフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定する。

ここで、特許文献１に記載のような映像品質の測定（推定）を行うシステムは、実際上、ＣＰＵを搭載した視聴用の装置（パソコンやセットトップボックスやテレビジョン受像機など）に映像品質の測定（推定）用のプログラムを組み込むことで実現されることが多い。

また、ＩＰベースのマルチキャスト映像配信サービスでは、非特許文献１に記載されているような「ＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ；前方誤り訂正符号）技術」が適用されることが多い。例えば、配信サーバから出力された映像パケットは、ＦＥＣサーバに与えられ、ＦＥＣサーバにおいてＦＥＣパケットに変換された後、ネットワークを介してユーザ端末に与えられ、ユーザ端末において、ＦＥＣ技術が適用されて映像パケットが復元される。

さらに、映像配信サービスでは、非特許文献３に記載されているような「ＤＲＭ（Ｄｉｇｉｔａｌ Ｒｉｇｈｔ Ｍａｎａｇｅｍｅｎｔ；デジタル著作権管理）技術」が適用される。例えば、原コンテンツを暗号化してユーザ端末に配信し、ユーザ端末においてコンテンツを再生するときに、所定のサーバなどから、暗号を解読するための鍵を取りに行き、この鍵を利用してコンテンツの暗号を解読しながら再生する。その他、ＤＲＭ技術として、電子透かし、利用制限技術等が適宜適用される。
特開２００６−３３７２２号公報 ＲＦＣ２３５４、２７３３ 安田浩、安原隆一監修、「ポイント図解式 コンテンツ流通教科書」、２００３年７月、株式会社アスキー発行

ところで、特許文献１に記載のような方法により、ユーザ端末側で高レイヤの映像品質パラメータを測定するためには、パケット損失を回復するＦＥＣ技術やデジタルデータの著作権を保護するためのＤＲＭ技術等といった仕掛けを解除し、ユーザ端末にて高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）を測定、特定化することができるようにする必要がある。例えば、測定時に、映像パケットをＦＥＣパケットに変換することなくユーザ端末に配信したり、ＤＲＭによる暗号化を施すことなく配信したりする必要がある。

しかしながら、ＦＥＣ技術を適用することなく高レイヤの映像品質パラメータを測定した場合には、ＦＥＣ技術で回復された損失パケット分を考慮しない測定結果が得られることになる。すなわち、測定時の測定結果が、通常の視聴時での映像品質を正しく反映していないものとなる。

一方、ＦＥＣ技術やＤＲＭ技術等といった仕掛けを解除しないで測定する場合、例えば、ＦＥＣ技術を用いても回復できない損失パケットが生じているときに映像品質を測定できないことも生じる。例えば、各フレームの情報が格納されているＴＳパケットのペイロードに対して暗号化（ＤＲＭ）が施されていると、フレーム種別（Ｉ、Ｐ、Ｂ）のフレーム情報を測定することが困難であり、特許文献１の記載技術を適用することができない。

そのため、メディアストリームの送信時に所定の処理が施されていても、適切にメディア品質を測定することができるメディア品質測定装置、方法及びプログラムが望まれている。

第１の本発明は、符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームのユーザ体感品質を測定するメディア品質測定装置において、（０）ネットワークからメディアストリームを受信する受信手段と、（１）受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行う誤り訂正復号処理手段と、（２）誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号する暗号復号手段と、（３）受信手段により受信されたメディアデータのヘッダ情報と、暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築するストリーム再構築手段と、（４）再構築されたメディアストリームのユーザ体感品質を測定する品質測定手段とを備えることを特徴とする。

第２の本発明は、符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームのユーザ体感品質を測定するメディア品質測定方法において、受信手段、誤り訂正復号処理手段、暗号復号手段、ストリーム再構築手段及び品質測定手段を備え、（０）受信手段が、ネットワークからメディアストリームを受信し、（１）誤り訂正復号処理手段が、受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行い、（２）暗号復号手段が、誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号し、（３）ストリーム再構築手段が、受信手段により受信されたメディアデータのヘッダ情報と、暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築し、（４）品質測定手段が、再構築されたメディアストリームのユーザ体感品質を測定することを特徴とする。

第３の本発明のメディア品質測定プログラムは、符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームを受信する装置に設けられたコンピュータを、ネットワークからメディアストリームを受信する受信手段と、受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行う誤り訂正復号処理手段と、誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号する暗号復号手段と、受信手段により受信されたメディアデータのヘッダ情報と、暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築するストリーム再構築手段と、再構築されたメディアストリームの品質を測定するユーザ体感品質測定手段として機能させることを特徴とする。

本発明によれば、メディアストリームの送信時に所定の処理が施されていても、適切にメディア品質を測定することができる。

（Ａ）主たる実施形態
以下、本発明によるメディア品質測定装置、方法及びプログラムを、映像品質測定装置、方法及びプログラムに適用した一実施形態を、図面を参照しながら詳述する。この実施形態は、ＩＰベースの映像配信サービスのユーザ体感品質（ＱｏＥ）を測定（推定）しようとしたものである。

（Ａ−１）実施形態の構成
図１は、実施形態の映像品質測定装置のネットワークにおける位置の説明図である。

図１において、ユーザ端末１１及び映像配信サーバ１２間には、例えば、キャリア網１３やＩＳＰ（インターネットサービスプロバイダ）網１４等が介在する。また、ユーザ端末１１は、品質管理サーバ１５と通信し得るものである。

ユーザ端末１１は、セットトップボックスやテレビジョン受像機やパソコンなどが該当し、実施形態の映像品質測定装置２０（図２参照）を搭載している。ユーザ端末１１は、例えば、定時処理により、又は、品質管理サーバ１５の指示により、キャリア網１３やＩＳＰ網１４を介して映像配信サーバ１２に品質測定用の映像配信を要求し（例えば、Ｍｕｌｔｉｃａｓｔ Ｊｏｉｎを行う）、配信された映像（映像ストリーム）に基づいて、映像品質（ＱｏＥ）を測定し、測定した結果を品質管理サーバ１５に送信するものである。

映像配信サーバ１２は、１又は複数のサーバから構成されているものであり、映像ストリームを配信するものである。映像配信サーバ１２が配信する映像ストリームは、ＤＲＭ技術に従って暗号化されていると共に、ＦＥＣ技術が適用されているものであり、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケット列となっている。映像配信サーバ１２は、品質測定用映像の配信要求の受信により、品質測定用の映像ストリームも配信するものである。品質測定用の映像ストリームも、通常の映像ストリームと同様に、ＤＲＭ技術に従って暗号化されていると共に、ＦＥＣ技術が適用されているものである。ここで、品質測定用の映像ストリームは、品質測定に専用的なものであっても良く、通常の映像ストリームを品質測定用の映像ストリームとして配信するものであっても良い。

品質管理サーバ１５は、例えば、到来した映像品質の測定結果に対して、集計などの統計的な処理を行うものである。

図２は、実施形態の映像品質測定装置２０の機能的構成を示すブロック図である。映像品質測定装置２０は、ソフトウェアを実行するＣＰＵを有するユーザ端末１１に対し、映像品質測定プログラムを搭載して構成されたものであっても良いが、機能的には、図２で表すことができる。

図２において、映像品質測定装置２０は、ＲＴＰ受信部２１、誤り訂正部２２、暗号復号部２３、ＲＴＰ再構成部２４、ＱｏＥモニタ部２５及びＱｏＥモニタライブラリ部２６を有する。ここで、ＲＴＰ受信部２１、誤り訂正部２２及び暗号復号部２３は、映像復号部２７及び描画部２８と共に、映像ストリームの受信装置を構成している。なお、映像復号部２７及び描画部２８も、ソフトウェア的に構成することもできるものである。

ＲＴＰ受信部２１は、品質測定用の映像ストリーム（ＲＴＰパケット列）が到来すると、それを受信して、誤り訂正部２２に与えると共に、ＲＴＰヘッダをＲＴＰ再構成部２４に与えるものである。

誤り訂正部２２は、ＦＥＣパケットとなっているＲＴＰパケットの系列のペイロードに対して、誤り訂正復号処理を適用し、配信側におけるＦＥＣ技術が適用される前の映像データ列に戻すものである。例えば、一部のＦＥＣパケット（ＲＴＰパケット）が欠落していたとしても、誤り訂正部２２の処理により、配信側におけるＦＥＣ技術が適用される前の映像データ列を得ることも可能である。

暗号復号部２３は、例えば、映像配信サーバ１２に品質測定用の映像配信を要求した際のネゴシエーションの中で、ＤＲＭ技術に従って暗号化したときの鍵情報を入手し、その鍵情報を適用して、誤り訂正部２２からの暗号化されている映像データ列を復号するものである。なお、暗号復号部２３から出力された映像データ列は、高能率圧縮符号化されているデータである。

ＲＴＰ再構成部２４は、暗号復号部２３から与えられた、誤り訂正がなされると共に暗号化が解除された映像データ列と、ＲＴＰ受信部２１から与えられたＲＴＰヘッダとから、ＲＴＰパケット列（映像ストリーム）を再構成するものである。ＲＴＰ再構成部２４は、ＲＴＰパケット列を再構成する際には、ＦＥＣ技術もＤＲＭ技術も適用しない。すなわち、ＲＴＰ再構成部２４によって再構成されたＲＴＰパケット列は、ＦＥＣ技術もＤＲＭ技術も適用されていないものである。

ＱｏＥモニタライブラリ部２６は、ＱｏＥを測定するためのソフトウェア（ＱｏＥモニタライブラリ）を１又は複数種類格納しているものである。ＱｏＥモニタライブラリとしては、例えば、特許文献１に記載の主観品質やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）Ｊ．１４３にて規定されている３種類の客観評価の推定方法をプログラムとして記述したものを適用できる。それ以外に、例えば、本年（２００８年）８月に、ＩＴＵ−Ｔから、４つの映像配信サービスの品質評価技術が勧告Ｊ．２４７として発表されたが、これら４種類のうちの品質評価技術を、プログラムとして記述したものをＱｏＥモニタライブラリとして適用することができる。なお、ＱｏＥモニタライブラリの中には、受信映像と比較するための基準映像を必要とするものがあるが、このような基準映像は、映像配信サービスを運営している事業者から提供され、ＱｏＥモニタライブラリ中にデータとして記述しておく。

ＱｏＥモニタ部２５は、ＲＴＰ再構成部２４から与えられたＲＴＰパケット列（映像ストリーム）に対し、ＱｏＥモニタライブラリ部２６に格納されているＱｏＥモニタライブラリを適用してユーザ体感品質（ＱｏＥ）を測定（推定）し、測定結果を品質管理サーバ１２に送信するものである。ＱｏＥモニタ部２５は、ＱｏＥモニタライブラリ部２６に複数種類のＱｏＥモニタライブラリが格納されている場合には、例えば、各ＱｏＥモニタライブラリを順に適用してＱｏＥを測定するようにしても良く、また例えば、品質管理サーバ１５から指示されたＱｏＥモニタライブラリを適用してＱｏＥを測定するようにしても良い。

映像復号部２７及び描画部２８は、ユーザ体感品質の測定時に機能させるようにしても良く、逆に、ユーザ体感品質の測定時に機能を停止させるようにしても良いものである。ユーザ体感品質（ＱｏＥ）は、ユーザ（視聴者）が体感する映像品質を模擬する情報であるので、前者を採用し、測定時にも映像を表示させ、品質をユーザに確認させるようにしても良い。

映像復号部２７は、暗号復号部２３から出力された高能率圧縮符号化されている映像データを復号し、原映像データを得るものである。

描画部２８は、映像復号部２７が得た原映像データを、画像表示装置（例えば、テレビジョン受像機）が表示し得る形式の映像信号に変換して出力するものである。

（Ａ−２）実施形態の動作
次に、実施形態の映像品質測定装置２０における動作（実施形態の映像品質測定方法）を説明する。

実施形態の映像品質測定装置２０には、品質測定用の映像ストリーム（ＲＴＰパケット列）が入力される。ＲＴＰパケット列が、ＲＴＰ受信部２１によって受信されて誤り訂正部２２に与えられると共に、ＲＴＰヘッダが抽出されてＲＴＰ再構成部２４に与えられる。

ＦＥＣパケットとなっているＲＴＰパケットの系列のペイロードに対し、誤り訂正部２２によって誤り訂正復号処理が実行され、配信側におけるＦＥＣ技術が適用される前の映像データ列が得られる。例えば、一部のＦＥＣパケット（ＲＴＰパケット）が欠落しても、誤り訂正復号処理により補償される。なお、欠落が多くなりすぎると、欠落に対する補償（回復）を行うことはできない。誤り訂正部２２から出力された暗号化されている映像データ列に対し、暗号復号部２３によって、ＤＲＭ技術の暗号化に対する逆処理である復号が実行される。誤り訂正がなされると共に暗号化が解除された映像データ列と、ＲＴＰ受信部２１から与えられたＲＴＰヘッダとから、ＲＴＰ再構成部２４によって、ＲＴＰパケット列（映像ストリーム）が再構成される。

この再構成されたＲＴＰパケット列（映像ストリーム）は、ＱｏＥモニタ部２５に与えられ、ＱｏＥモニタ部２５において、ＱｏＥモニタライブラリ部２６に格納されているＱｏＥモニタライブラリが適用されてユーザ体感品質（ＱｏＥ）が測定（推定）される。このようにして得られた測定結果は、品質管理サーバ１２に送信され、統計処理などに供する。

（Ａ−３）実施形態の効果
上記実施形態によれば、ＦＥＣ技術やＤＲＭ技術を考慮して高レイヤの映像品質（ＱｏＥ）を測定することができる。これにより、映像品質を精度良く測定することができる。

ＦＥＣ技術やＤＲＭ技術が適用されていない品質測定用の映像ストリーム（ＲＴＰパケット列）を映像配信サーバから出力させて、高レイヤの映像品質（ＱｏＥ）をユーザ端末で測定させることも考えられる。しかし、測定時以外で、ＦＥＣ技術やＤＲＭ技術が適用されている映像ストリームを出力させている場合には、測定時が通常の状態と異なり、測定で得られた映像品質は精度が低いものとなる。そのため、上記実施形態のように、ＦＥＣ技術やＤＲＭ技術を考慮して再構築した映像ストリームで映像品質を測定する方が精度は向上する。

（Ｂ）他の実施形態
上記実施形態では、映像ストリームを配信するシステムに本発明を適用した場合を示したが、ユニキャストでの映像品質の測定にも、本発明を適用することができる。

また、上記実施形態では、測定パラメータがユーザ体感品質（ＱｏＥ）であるものを示したが、他の測定パラメータであっても良い。

さらに、上記実施形態では、ＦＥＣ技術及びＤＲＭ技術が共に施された映像ストリームを処理する場合を説明したが、ＦＥＣ技術又はＤＲＭ技術の一方だけが施された映像ストリームを処理して映像品質を測定する場合にも本発明を適用することができる。さらに、ネットワークに映像ストリームを流すことを考慮してなされる他の処理が施される場合には、その処理を解除して映像ストリームを再構築して映像品質を測定するようにしても良い。例えば、ＤＲＭ技術の一貫としてではなく、独立に電子透かしが施されているような場合には、電子透かしを解除して映像ストリームを再構築して映像品質を測定するようにすれば良い。

リアルタイムのデータ転送のためのプロトコルは、上記実施形態のようなＲＴＰに限定されるものではなく、ＳＴ２＋（Ｉｎｔｅｒｎｅｔ Ｓｔｒｅａｍ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ ２拡張版）などの他のプロトコルを適用している場合にも、本発明の技術思想を適用することができる。

上記実施形態では、ユーザ端末が映像品質測定装置を備える場合を説明したが、映像品質測定装置を備える装置はユーザ端末に限定されるものではない。

また、上記実施形態では、映像品質を測定する場合を説明したが、映像ストリームに負荷されている音声品質（例えば、音声に関するＱｏＥ）を測定する場合にも、本発明を適用することができる。なお、特許請求の範囲における「メディアストリーム」は映像ストリーム、マルチメディアストリームなどが該当するものである。

実施形態の映像品質測定装置のネットワークにおける位置の説明図である。 実施形態の映像品質測定装置の機能的構成を示すブロック図である。

符号の説明

１１…ユーザ端末、１２…映像配信サーバ、１５…品質管理サーバ、２０…映像品質測定装置、２１…ＲＴＰ受信部、２２…誤り訂正部、２３…暗号復号部、２４…ＲＴＰ再構成部、２５…ＱｏＥモニタ部、２５…ＱｏＥモニタライブラリ部。

Claims (4)

1. 符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームのユーザ体感品質を測定するメディア品質測定装置において、
   ネットワークからメディアストリームを受信する受信手段と、
   受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行う誤り訂正復号処理手段と、
   上記誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号する暗号復号手段と、
   上記受信手段により受信されたメディアデータのヘッダ情報と、上記暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築するストリーム再構築手段と、
   再構築されたメディアストリームのユーザ体感品質を測定する品質測定手段と
   を備えることを特徴とするメディア品質測定装置。
2. 上記メディアストリームが映像ストリームであることを特徴とする請求項１に記載のメディア品質測定装置。
3. 符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームのユーザ体感品質を測定するメディア品質測定方法において、
   受信手段、誤り訂正復号処理手段、暗号復号手段、ストリーム再構築手段及び品質測定手段を備え、
   上記受信手段が、ネットワークからメディアストリームを受信し、
   誤り訂正復号処理手段が、受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行い、
   暗号復号手段が、上記誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号し、
   上記ストリーム再構築手段が、上記受信手段により受信されたメディアデータのヘッダ情報と、上記暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築し、
   上記品質測定手段が、再構築されたメディアストリームのユーザ体感品質を測定する
   ことを特徴とするメディア品質測定方法。
4. 符号化されたメディアデータの系列に対し、ネットワークへ送出することを考慮した所定処理を施してネットワークに送出されたメディアストリームを受信する装置に設けられたコンピュータを、
   ネットワークからメディアストリームを受信する受信手段と、
   受信したメディアストリームに施されている前方誤り訂正符号の復号処理を行う誤り訂正復号処理手段と、
   上記誤り訂正復号処理手段からのメディアデータに施されているデジタル著作権管理技術の暗号化を復号する暗号復号手段と、
   上記受信手段により受信されたメディアデータのヘッダ情報と、上記暗号復号手段により復号されたメディアデータの系列とに基づいて、メディアストリームを再構築するストリーム再構築手段と、
   再構築されたメディアストリームの品質を測定するユーザ体感品質測定手段と
   して機能させることを特徴とするメディア品質測定プログラム。

Images