JP5562418B2

JP5562418B2 - 映像再現システム、受信端末、ホームゲートウェイ装置及び品質管理システム

Info

Publication number: JP5562418B2
Application number: JP2012521273A
Authority: JP
Inventors: 裕本田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-06-23
Filing date: 2011-05-23
Publication date: 2014-07-30
Anticipated expiration: 2031-05-23
Also published as: CN102948161A; EP2587801A4; US20130091528A1; WO2011161874A1; JPWO2011161874A1; EP2587801A1

Description

この発明は、リアルタイムに映像通信を行うサービスにおいて、ユーザ側に劣化が生じた映像が提供された場合に当該劣化が生じた映像を再現するシステムに関するものである。

近年、ＩＰネットワーク上における映像配信などのリアルタイムに行われる映像通信サービスの普及が進んでいる。しかし、ＩＰネットワークはベストエフォート型のネットワークであり、ネットワーク伝送品質が保証されていないためパケットの転送遅延や損失が発生する。更に、映像受信端末においてもバッファ溢れなどによるパケット廃棄が発生する。そのため、リアルタイムに映像通信サービスを提供するためには、各ユーザが視聴している映像品質、すなわちユーザ体感映像品質の監視および分析を行う技術が必要となる。

映像品質の監視および分析を行う技術として、特許文献１にはネットワーク内に接続された品質監視分析システムにおいて、映像受信端末から収集されたパケット情報を受信して劣化要因となる客観評価データ、すなわち伝送遅延、パケットロス率、ゆらぎ情報およびジッタの標準偏差値といった品質情報を取得する構成が開示されている。

しかし、品質情報の収集のみによる客観的な監視や分析では十分とは言えず、特許文献２にはユーザ側で再生されている劣化した映像を管理システム側で再現する技術が開示されている。具体的には、再現装置が映像受信端末における受信パケットのシーケンス番号および受信時刻が記録されたタイミング情報を受け取り、映像受信端末における受信時刻から一定時間後に同一のパケットを送信することにより、管理システム側においてユーザ側の映像再生状況を再現している。

また関連する技術として、特許文献３には映像受信端末におけるフレームの損失を送信側のネットワーク端末にフィードバックし、フィードバックされたパケットを損失させることによってユーザ側で再生されている劣化した映像の再現を行う構成が開示されている。

特開２００５−１０２０１９号公報特開２００７−３２４７０７号公報特開２００７−１５０９１６号公報

しかしながら、上述した特許文献１−３の従来技術には以下のような課題があった。第１に、ユーザ側で再生されている劣化した映像のみを再現しているため、ネットワーク上のどの区間において品質劣化が発生しているのか分析することができない。近年の外部ネットワークやホームネットワークの環境は多様化しており、映像通信サービス提供事業者にとってはネットワーク上の何処に品質劣化の原因が存在するのか判別することは急務となっている。

第２に、再現の対象となる映像はユーザが現に視聴している映像に限られ、ユーザが視聴していない映像は再現できない。ユーザ体感品質は配信コンテンツの影響を受けて劣化するため、視聴しているコンテンツによってはユーザ体感品質が異なる。そのため、配信コンテンツの影響を考慮したユーザ体感品質の分析を行うためには、ユーザが現に視聴している映像のみではなく、任意の映像についても劣化映像の再現が必要である。

この発明は上記のような課題を解決するためになされたもので、映像通信サービスにおいて品質劣化が発生している箇所を特定し、さらに容易にユーザ体感品質の分析を行うことができる映像再現システムを提供することを目的とする。

この発明は、ネットワークを経由して行われる映像通信サービスで発生した品質劣化を再現する映像再現システムにおいて、ネットワークを経由して配信される映像ストリームからユーザ側で再生する映像の品質を示す第１品質情報、および受信端末内での映像の品質の変化を示す品質制御情報を生成する受信端末と、映像ストリームの配信に用いられるネットワーク上に設けられ、受信端末で生成された品質制御情報を用いて受信端末内での映像の品質の変化を反映させ、当該映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像の品質を示す第２品質情報を生成するホームゲートウェイ装置と、外部ネットワークを経由して配信される前の原映像ストリームおよび受信端末で生成された第１品質情報を用いてユーザ側で再生される映像を再現すると共に、原映像ストリームおよびホームゲートウェイ装置で生成された第２品質情報を用いてユーザ側で再生される映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像を再現する品質管理装置と、を備えるように構成したものである。

この発明によれば、ネットワークを経由して配信される映像ストリームからユーザ側で再生する映像の品質を示す第１品質情報、および受信端末内での映像の品質の変化を示す品質制御情報を生成する受信端末と、映像ストリームの配信に用いられるネットワーク上に設けられ、受信端末で生成された品質制御情報を用いて受信端末内での映像の品質の変化を反映させ、当該映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像の品質を示す第２品質情報を生成するホームゲートウェイ装置と、外部ネットワークを経由して配信される前の原映像ストリームおよび受信端末で生成された第１品質情報を用いてユーザ側で再生される映像を再現すると共に、原映像ストリームおよびホームゲートウェイ装置で生成された第２品質情報を用いてユーザ側で再生される映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像を再現する品質管理装置と、を備えるように構成したので、映像通信サービスにおけるネットワーク上の品質劣化発生箇所を特定することができ、さらに映像通信サービス提供事業者が容易にユーザ体感品質の分析を行うことができる。

実施の形態１による映像再現システムの構成を示す図である。実施の形態１による映像表示端末における表示の一例を示す図である。実施の形態１による映像再現システムの劣化映像再現動作を示すシーケンス図である。実施の形態１による映像受信端末の構成を示すブロック図である。実施の形態１による映像受信端末が生成する第１品質情報の一例を示す図である。実施の形態１による映像受信端末の第１品質情報生成部におけるパケット総数算出処理を示すフローチャートである。損失ブロックと回復ブロックの一例を示す図である。実施の形態１による映像受信端末の品質制御情報生成部の動作を示すフローチャートである。実施の形態１による映像受信端末が生成する品質制御情報の一例を示す図である。実施の形態１によるホームゲートウェイ装置の構成を示すブロック図である。実施の形態１によるホームゲートウェイ装置の第２品質情報生成部の動作を示すフローチャートである。実施の形態１によるホームゲートウェイ装置の第２品質情報生成部における遅延によるパケット廃棄の処理を示すフローチャートである。実施の形態１によるホームゲートウェイ装置の第２品質情報生成部におけるＦＥＣによる回復反映処理を示すフローチャートである。実施の形態１によるホームゲートウェイ装置の第２品質情報生成部における損失ブロック探索の一例を示す図である。実施の形態１によるホームゲートウェイ装置が生成する第２品質情報の一例を示す図である。実施の形態１による品質管理システムの構成を示すブロック図である。実施の形態１による品質管理システムの劣化映像再現部の動作を示すフローチャートである。実施の形態１による品質管理システムにおける生成可能な損失ブロック探索の一例を示す図である。実施の形態２による映像再現システムの構成を示す図である。実施の形態２による品質管理システムの構成を示すブロック図である。実施の形態３による映像再現システムの構成を示す図である。実施の形態４による映像受信端末が生成する第１品質情報の一例を示す図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による映像再現システムの構成を示す図である。
この映像再現システムは、映像配信サーバ１、映像ストレージ２、外部ネットワーク３、ホームゲートウェイ装置４、ホームネットワーク（宅内ネットワーク）５、映像受信端末６、テレビ７、品質管理システム８および映像表示端末９で構成されている。ホームゲートウェイ装置４、映像受信端末６およびテレビ７はユーザ宅内に配置されている。
映像配信サーバ１は、映像ストレージ２から取得した映像ストリームを、外部ネットワーク３を介してホームゲートウェイ装置４に配信する。また、映像ストレージ２に蓄積された原映像ストリームを品質管理システム８に出力する。映像はＲＴＰ（Ｒｅａｌ−ＴｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケット化され、トランスポートプロトコルにＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）を使用して配信する。以下、単にパケットと称した場合は、ＲＴＰパケットを指す。

ホームゲートウェイ装置４は、光ファイバや電話回線を通じて、外部ネットワーク３に接続され、外部ネットワーク３とホームネットワーク５間のパケットを転送する。また、ホームゲートウェイ装置４は、映像受信端末６へ映像ストリームを転送すると共に、転送する映像ストリームを監視して第２品質情報を生成する。生成された第２品質情報は品質管理システム８に送信される。第２品質情報には仮想劣化映像を再現するための情報が含まれている。仮想劣化映像とはホームネットワーク５による品質劣化の影響を排除した劣化映像である。例えば、ホームネットワーク５内でネットワークの輻輳が発生し、ユーザ側で再生されている映像が劣化した場合でも、仮想劣化映像は劣化しない。

映像受信端末６は、ホームゲートウェイ装置４から配信された映像をテレビ７に出力する。また映像受信端末６は、配信された映像ストリームから第１品質情報の生成を行う。この第１品質情報には、テレビ７に出力される、すなわちユーザ側で再生される劣化映像を再現するための情報が含まれている。生成された第１品質情報は品質管理システム８に送信される。品質管理システム８は、ホームゲートウェイ装置４から受信した第２品質情報と、映像配信サーバ１から入力される原映像ストリームとを用いて仮想劣化映像の再現を行う。また、映像受信端末６から受信した第１品質情報と、映像配信サーバ１から配信された原映像ストリームとを用いてユーザ側で再生されている劣化映像の再現を行う。

映像表示端末９は映像入出力インタフェース（図示せず）を介して品質管理システム８と接続されており、品質管理システム８から出力される映像を表示する。図２に映像表示端末９における表示例を示す。映像表示端末９は、原映像を表示する原映像表示部９１、ホームネットワーク５による品質劣化の影響を排除した仮想劣化映像を表示する仮想劣化映像表示部９２、ユーザ側のテレビ７で再生されている劣化映像を表示するユーザ再生劣化映像表示部９３で構成されている。

［映像再現システムの動作］
図３を参照しながら、実施の形態１の映像再現システムの動作について説明する。図３は、実施の形態１の映像再現システムの劣化映像再現動作を示すシーケンス図である。
映像配信サーバ１は、映像ストレージ２から配信する映像ストリームを取得し、外部ネットワークを介してホームゲートウェイ装置４に配信する（ステップＳＴ１）。ホームゲートウェイ装置４は配信された映像ストリームを監視し（ステップＳＴ２）、配信された映像ストリームを映像受信端末６へ転送する（ステップＳＴ３）。

映像受信端末６は、配信された映像ストリームから第１品質情報を生成し（ステップＳＴ４）、生成した第１品質情報を品質管理システム８へ送信する（ステップＳＴ５）。また、映像受信端末６は、配信された映像ストリームとステップＳＴ４で生成した第１品質情報を用いて品質制御情報を生成し（ステップＳＴ６）、生成した品質制御情報をホームゲートウェイ装置４に送信する（ステップＳＴ７）。なお、品質制御情報にはホームゲートウェイ装置４が第２品質情報を生成するために必要な情報が含まれる。

ホームゲートウェイ装置４は、映像受信端末６から受信した品質制御情報とステップＳＴ２において監視していた映像ストリームとを用いて第２品質情報を生成する（ステップＳＴ８）。ステップＳＴ８において生成された第２品質情報は、品質管理システム８に送信される（ステップＳＴ９）。

品質管理システム８は、映像配信サーバ１から原映像ストリームを取得し（ステップＳＴ１０）、当該原映像ストリームとステップＳＴ５において映像受信端末６から送信された第１品質情報に基づきユーザ側で再生されている劣化映像の再現を行う（ステップＳＴ１１）。また、ステップＳＴ１０において取得した原映像ストリームとステップＳＴ９においてホームゲートウェイ装置４から送信された第２品質情報に基づき仮想劣化映像の再現を行う（ステップＳＴ１２）。以降、同様の処理が繰り返される。

［映像受信端末の構成］
次に、映像受信端末６の詳細な構成について説明する。図４は、実施の形態１による映像受信端末の構成を示すブロック図である。
映像受信端末６は、通信部６１、映像制御部６２、デコーダ６３、映像出力制御部６４、第１品質情報生成部６５、第１品質情報送信部６６、品質制御情報生成部６７および品質制御情報送信部６８で構成されている。
通信部６１は、ホームネットワーク５を介して入力される映像ストリームを受信し、映像制御部６２へ出力する。また通信部６１は、映像受信端末６内で生成された第１品質情報および品質制御情報をホームネットワーク５側に送信する。

映像制御部６２は、受信した映像ストリームの損失パケットをＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）により回復し、デコーダ６３へ出力する。また映像制御部６２は、ＦＥＣによる回復前と回復後の映像ストリームおよび映像ストリームの各パケットが通信部６１に到着した時間、ユーザが視聴している映像のチャネル番号、テレビに表示される映像の解像度を第１品質情報生成部６５へ出力する。デコーダ６３は映像ストリームをデコードし、映像出力制御部６４へ出力する。映像出力制御部６４は映像入出力インタフェース（図示せず）を介してテレビ７へ映像を出力する。

第１品質情報生成部６５は、映像制御部６２から入力される情報に基づき、品質測定区間ごとに第１品質情報を生成する。品質測定区間とは、第１品質情報生成部６５が算出したパケット数だけ、映像ストリームから取り出した連続するパケットの集合である。第１品質情報送信部６６は、第１品質情報生成部６５が生成した第１品質情報を受け取り、通信部６１を介して品質管理システム８宛てに送信する。品質制御情報生成部６７は、第１品質情報生成部６５からＦＥＣによる回復前と回復後の映像ストリームおよび第１品質情報を受け取り、第１品質情報生成部６５が決定した品質測定区間ごとに品質制御情報を生成する。品質制御情報送信部６８は、品質制御情報生成部６７が生成した品質制御情報を受け取り、通信部６１を介してホームゲートウェイ装置４宛てに送信する。

図５は、実施の形態１による映像受信端末の第１品質情報生成部が生成する第１品質情報の一例を示す図である。
ユーザ識別情報Ａ１は、品質管理システム８が劣化映像の再現を行う際にユーザ識別のために用いる識別子である。第１品質情報生成部６５により付与される。装置識別情報Ｂ１は、品質情報が映像受信端末６あるいはホームゲートウェイ装置４から送信されたものかを識別するための識別子である。図５の例では映像受信端末６から送信された第１品質情報であることを示しており、第１品質情報生成部６５により付与されたものである。シーケンス番号Ｃ１は、品質管理システム８において劣化映像の再現を行う際に、第１品質情報を使用する順番を決定するために用いる。なお、このシーケンス番号Ｃ１は第１品質情報生成部６５が第１品質情報を生成する毎に「１」ずつ増加する。第１品質情報生成部６５により生成および付与される。

視聴チャネルＤ１は、ユーザが視聴している映像のチャネル番号であり、品質管理システム８が劣化映像の再現を行うときのチャネル番号指定に使用する。第１品質情報生成部６５が映像制御部６２より取得して付与する。解像度Ｅ１は、テレビに表示される映像の解像度であり、映像表示端末９が、原映像、仮想劣化映像およびユーザ側で再生されている劣化映像を表示する際の解像度として用いる。第１品質情報生成部６５が映像制御部６２より取得して付与する。パケット総数Ｆ１は、品質測定区間に含まれるパケット数である。パケット総数Ｆ１の決定により、次の品質測定区間との境界が決まる。パケット総数Ｆ１は、映像ストリーム中で損失したパケットと損失していないパケットのどちらも１パケットとしてカウントしたものである。

次に、図６を参照しながら、パケット総数Ｆ１の算出方法について説明する。図６は、実施の形態１による映像受信端末の第１品質情報生成部におけるパケット総数算出処理を示すフローチャートである。
はじめにパケット総数Ｆ１に初期値を与える（ステップＳＴ２１）。初期値はあらかじめ映像受信端末６が固定値として保持していてもよい。次に、一つ前に算出した品質測定区間の終端位置から、ＦＥＣによる回復前の映像ストリームにおける品質測定区間の先頭位置を確定する（ステップＳＴ２２）。パケット総数Ｆ１をはじめて生成する場合は、配信された映像ストリームの最初のパケットを品質測定区間の先頭位置とする。品質測定区間の先頭からＦ１番目に位置するパケットを参照し、当該パケットが損失パケットであるか否か判定を行う（ステップＳＴ２３）。ステップＳＴ２３において、損失パケットでないと判定された場合にはパケット総数Ｆ１を確定し（ステップＳＴ２４）、処理を終了する。一方、ステップＳＴ２３において、損失パケットであると判定された場合にはパケット総数Ｆ１を「１」増加させ（ステップＳＴ２５）、ステップＳＴ２３の判定処理に戻る。

上述したパケット総数算出処理を行うことにより、品質測定区間の境界が損失ブロックと回復ブロックとに分割されることがない。損失ブロックとは連続した損失パケットを一塊としたブロックのことであり、回復ブロックとは連続したＦＥＣによる回復パケットを一塊としたブロックのことである。これらのブロック内に含まれるパケットの数を連続数と呼ぶ。

図７は、損失ブロックと回復ブロックの一例を示す図である。
図７に示すように、ＦＥＣによる回復前の映像ストリームでは、損失ブロックの前後に位置するパケットは損失していないパケットとなる。一方、ＦＥＣによる回復後の映像ストリームでは、損失ブロックの前後に位置するパケットは損失していないパケット、もしくは回復パケットとなる。回復ブロックの前後に位置するパケットは、損失パケット、もしくは損失していないパケットとなる。回復ブロックはＦＥＣによる回復前と回復後の映像ストリームを比較して確定することができる。第１および第２品質情報や品質制御情報には、損失ブロックと回復ブロックに関する統計情報が含まれており、品質測定区間の境界が損失ブロックと回復ブロックを分断しないようにする必要がある。

図５の説明に戻り、先頭パケットシーケンス番号Ｇ１は、品質測定区間の先頭パケットのシーケンス番号である。この先頭パケットシーケンス番号Ｇ１にはＲＴＰパケットのシーケンス番号を付与してもよい。品質管理システム８が映像ストリームから品質測定区間の先頭を算出する際に用いる。第１品質情報生成部６５により付与される。パケット平均転送遅延時間Ｉ１は、第１品質情報生成部６５が品質測定区間に含まれるパケットの転送遅延時間の平均値を算出して求める。品質管理システム８がユーザ側で再生されている劣化映像の再現を行う際に用いる。パケット転送遅延時間は、パケットが通信部６１に到着した時間とパケット内に含まれているタイムスタンプの差分により算出される。ＲＴＰパケットのタイムスタンプを使用してもよい。

さらに第１品質情報には、連続数が最小値「１」から最大値「パケット総数Ｆ１−１」までの各損失ブロックの統計情報が含まれている。損失ブロックの連続数が大きいほど映像品質の劣化の度合いが大きくなる。このため、連続数ごとに統計情報の生成を行う。これらの統計情報は、第１品質情報生成部６５がＦＥＣによる回復後の映像ストリームにおける品質測定区間から生成する。統計情報は、品質管理システム８が損失ブロックの位置に関する確率分布に基づいて、ユーザ側で再生されている劣化映像の再現を行う際に使用する。

図５に示した例では「損失ブロック数」、「損失ブロック位置の平均」および「損失ブロック位置の分散」を統計情報としている。損失ブロック数とは品質測定区間内に含まれる損失ブロックの数である。損失ブロック位置とは、品質測定区間の先頭パケットを基準として、損失ブロックが何パケット目に存在するかを求めた値となる。損失ブロック位置の平均と分散は、各損失ブロック位置の平均値と分散値になる。損失ブロック数が０の場合は、損失ブロック位置の平均と分散は算出しない。これら以外にも損失ブロック位置の最大値、最小値、中央値、歪度などを第１品質情報に含めてもよい。

続いて、図８を参照しながら、品質制御情報の生成処理について説明する。図８は、実施の形態１による映像受信端末の品質制御情報生成部の動作を示すフローチャートである。
第１品質情報に含まれるシーケンス番号Ｃ１を参照し、最も古い第１品質情報を取得する（ステップＳＴ３１）。次に、ＦＥＣによる回復前と回復後の映像ストリームにそれぞれ含まれるパケットのシーケンス番号を参照し、第１品質情報に含まれる先頭パケットシーケンス番号Ｇ１と一致するパケットを特定する（ステップＳＴ３２）。ＦＥＣによる回復前と回復後の映像ストリームそれぞれに対して、特定したパケットからパケット総数Ｆ１分のパケットを抽出して、品質測定区間を確定する（ステップＳＴ３３）。確定したＦＥＣによる回復前後の品質測定区間を用いて品質制御情報を生成する（ステップＳＴ３４）。ステップＳＴ３４の品質制御情報の生成ではステップＳＴ３１において取得した第１品質情報を使用する。最後に、ステップＳＴ３１において取得した第１品質情報を破棄し（ステップＳＴ３５）、ステップＳＴ３１の処理へ戻る。

図９は、実施の形態１による映像受信端末の品質制御情報生成部が生成する品質制御情報の一例を示す図である。この品質制御情報は映像受信端末６がホームゲートウェイ装置４に送信する。
ユーザ識別情報Ａ２および装置識別情報Ｂ２は、それぞれ第１品質情報のユーザ識別情報Ａ１と装置識別情報Ｂ１と同一のものを付与する。異なるユーザの装置が接続された場合にホームゲートウェイ装置４が検出を行うために用いる。シーケンス番号Ｃ２およびパケット総数Ｆ２は、それぞれ第１品質情報のシーケンス番号Ｃ１とパケット総数Ｆ１と同一のものを付与し、ホームゲートウェイ装置４が第２品質情報を生成する際に付与する情報になる。品質管理システム８は、当該シーケンス番号Ｃ２およびパケット総数Ｆ２に基づきホームゲートウェイ装置４からの第２品質情報と映像受信端末６からの第１品質情報との同期をとって映像出力を行う。

先頭パケットシーケンス番号Ｇ２は、第１品質情報の先頭パケットシーケンス番号Ｇ１と同一のものを付与する。ホームゲートウェイ装置４は、先頭パケットシーケンス番号Ｇ２に基づき映像ストリームから品質測定区間の先頭を算出する。遅延による廃棄の閾値Ｈ２は、映像制御部６２が廃棄と判断する転送遅延時間の最小値である。なお、映像受信端末６が固定値として保持していてもよい。ホームゲートウェイ装置４が第２品質情報を生成する際に、遅延による廃棄の閾値Ｈ２を用いて擬似的にパケットの損失を発生させる。これらユーザ識別情報Ａ２、装置識別情報Ｂ２、シーケンス番号Ｃ２、パケット総数Ｆ２、先頭パケットシーケンス番号Ｇ２および遅延による廃棄の閾値Ｈ２は全て品質制御情報生成部６７により付与される。

次に品質制御情報には、連続数が最小値「１」から順に最大値「パケット総数Ｆ２−１」までの各回復ブロックの統計情報が含まれている。損失ブロックに関する統計情報と同様に連続数ごとに統計情報の生成を行う。これらの統計情報は、品質制御情報生成部６７が、ＦＥＣによる回復前と回復後の映像ストリームを比較して生成する。統計情報は、ホームゲートウェイ装置４が第２品質情報を生成する際に、パケット回復の位置に関する確率分布に基づいて、擬似的にパケットの回復を発生させる際に用いる。
図９に示した例では「回復ブロック数」、「回復ブロック位置の平均」および「回復ブロック位置の分散」を統計情報としている。回復ブロック数とは品質測定区間内に含まれる回復ブロックの数である。回復ブロック位置とは、品質測定区間の先頭パケットを基準として、回復ブロックが何パケット目に存在するかを求めた値となる。回復ブロック位置の平均と分散は、各回復ブロック位置の平均値と分散値になる。回復ブロック数が０の場合は、回復ブロック位置の平均と分散は算出しない。これら以外にも回復ブロック位置の最大値、最小値、中央値、歪度などを品質制御情報に含めても良い。

［ホームゲートウェイ装置の構成］
次に、ホームゲートウェイ装置４の詳細な構成について説明する。図１０は、実施の形態１によるホームゲートウェイ装置の構成を示すブロック図である。
ホームゲートウェイ装置４は、外部ネットワーク側通信部４１、パケット転送部４２、ホームネットワーク側通信部４３、映像ストリーム監視部（監視部）４４、品質制御情報受信部４５、第２品質情報生成部４６および第２品質情報送信部４７で構成されている。

外部ネットワーク側通信部４１は、外部ネットワーク３を介して映像配信サーバ１が配信する映像ストリームを受信し、パケット転送部４２に出力する。パケット転送部４２は、受信した映像ストリームをホームネットワーク側通信部４３および映像ストリーム監視部４４に転送し、受信した品質制御情報を品質制御情報受信部４５に転送する。ホームネットワーク側通信部４３は入力された映像ストリームを、ホームネットワーク５を介して映像受信端末６へ送信する。映像ストリーム監視部４４は、パケット転送部４２に入力される映像ストリームを監視すると共に、映像ストリームを取得し、取得した映像ストリームおよび当該映像ストリーム内の各パケットを取得した時間を第２品質情報生成部４６に送信する。品質制御情報受信部４５は、パケット転送部４２を介して映像受信端末６が送信する品質制御情報を受信し、第２品質情報生成部４６へ出力する。

第２品質情報生成部４６は、品質制御情報受信部４５から入力された品質制御情報に基づき映像ストリーム監視部４４から取得した映像ストリームに対して、擬似的な遅延によるパケット廃棄処理とＦＥＣによる回復の反映処理を行った後、第２品質情報の生成を行う。これらの処理は、映像受信端末６内で発生する映像品質の劣化と回復を反映するために行われ、ホームゲートウェイ装置４があたかも映像受信端末６として動作しているかのように第２品質情報の生成を行う。ホームゲートウェイ装置４において生成される第２品質情報は、映像受信端末６において生成される第１品質情報と同様に品質測定区間ごとに生成される。第２品質情報送信部４７は、第２品質情報生成部４６が生成した第２品質情報を受け取り、パケット転送部４２を介して品質管理システム８宛てに送信する。

続いて、図１１を参照しながら、第２品質情報の生成処理について説明する。図１１は、実施の形態１によるホームゲートウェイ装置の第２品質情報生成部の動作を示すフローチャートである。
品質制御情報に含まれるシーケンス番号Ｃ２を参照し、最も古い品質制御情報を取得する（ステップＳＴ４１）。次に、ステップＳＴ４１において取得した品質制御情報を参照し、ユーザ識別情報Ａ２がホームゲートウェイ装置４の保持しているユーザ識別情報の値と一致し、かつ装置情報Ｂ２が映像受信端末６の識別と一致しているか否か判定を行う（ステップＳＴ４２）。ステップＳＴ４２において一致しないと判定された場合にはステップＳＴ４８の処理に進む。

一方、ステップＳＴ４２において一致すると判定された場合には、映像ストリームに含まれるパケットのシーケンス番号を参照し、品質制御情報に含まれる先頭パケットシーケンス番号Ｇ２と一致するパケットを特定し、特定したパケットからパケット総数Ｆ２分のパケットを抽出して、映像ストリームに対して品質測定区間を確定する（ステップＳＴ４４）。ステップＳＴ４４において確定した品質測定区間に対して遅延によるパケット廃棄処理を行い（ステップＳＴ４５）、さらにＦＥＣによる回復の反映処理を行う（ステップＳＴ４６）。また、確定した品質測定区間を用いて第２品質情報を生成する（ステップＳＴ４７）。第２品質情報の生成にはステップＳＴ４１において取得した品質制御情報を使用する。最後に、ステップＳＴ４１において取得した品質制御情報を破棄し（ステップＳＴ４８）、ステップＳＴ４１の処理へ戻る。

次に、図１２を参照しながら上述したステップＳＴ４５の処理をより詳細に説明する。図１２は、実施の形態１によるホームゲートウェイ装置の第２品質情報生成部における遅延によるパケット廃棄処理を示すフローチャートである。
品質制御情報を参照してパケット総数Ｆ２の値を特定する（ステップＳＴ５１）と共に、遅延による廃棄の閾値Ｈ２の値を特定する（ステップＳＴ５２）。パケットの処理位置を記憶する変数Ｐに初期値１を与える（ステップＳＴ５３）。品質測定区間の先頭からＰ番目のパケットの転送遅延時間を算出する（ステップＳＴ５４）。パケットがパケット転送部４２に到着した時間は映像ストリーム監視部４４から受け取ったものを用いる。

次に、ステップＳＴ５４において算出した転送遅延時間が遅延による廃棄の閾値Ｈ２より小さいか否か判定を行う（ステップＳＴ５５）。ステップＳＴ５５において転送遅延時間が遅延による廃棄の閾値Ｈ２より小さいと判定された場合にはステップＳＴ５７の処理に進み、大きいと判定された場合には、Ｐ番目のパケットは廃棄されたものとみなし、品質測定区間から削除する（ステップＳＴ５６）。その後、変数Ｐの値を「１」増加させ（ステップＳＴ５７）、変数Ｐの値がパケット総数Ｆ２の値よりも大きいか否か判定する（ステップＳＴ５８）。ステップＳＴ５８において変数Ｐの値がパケット総数Ｆ２よりも小さい場合にはステップＳＴ５４の処理に戻り、大きい場合には処理を終了する。

次に、図１３を参照しながら上述したステップＳＴ４６の処理をより詳細に説明する。図１３は、実施の形態１によるホームゲートウェイ装置の第２品質情報生成部におけるＦＥＣによる回復反映処理を示すフローチャートである。
品質制御情報に含まれる回復ブロックに関する統計情報を参照し、連続数の最大値を取得し、変数Ｑに設定する（ステップＳＴ６１）。変数Ｒを０で初期化する（ステップＳＴ６２）。なお、変数Ｒは連続数Ｑの回復ブロック反映処理の残り回数を保持するために用いる。品質制御情報を参照し、連続数Ｑの回復ブロック数Ｓを特定する（ステップＳＴ６３）。変数Ｒに、連続数Ｑの回復ブロック数Ｓと変数Ｒの和を代入する（ステップＳＴ６４）。

次に、用意した確率分布に基づいて回復させる損失ブロックの初期位置を算出する（ステップＳＴ６５）。具体的には第２品質情報生成部４６が乱数を生成し、確率分布に応じて初期位置を算出する。ただし、初期位置が品質測定区間外とならないように、区間外の確率は「０」とする対処を行う。なお、確率分布はネットワークの状況やＦＥＣ方式に応じて推定される確率モデルに、連続数Ｑの回復ブロック位置に関する統計情報を適用して求めても良い。また、確率分布は連続数に応じて異なるものを使用してもよい。

続いて、ステップＳＴ６５において算出した初期位置のパケットを参照し、当該パケットが連続数Ｑの損失パケットブロックに含まれているか否か判定を行う（ステップＳＴ６６）。ステップＳＴ６６において、含まれていると判定された場合にはステップＳＴ６９へ進む。一方、ステップＳＴ６６において含まれていないと判定された場合には、算出した初期位置から最も近い連続数Ｑの損失ブロックを探索し（ステップＳＴ６７）、損失ブロックが存在するか否か判定を行う（ステップＳＴ６８）。図１４に、ステップＳＴ６７の損失ブロックの探索例を示している。図１４の例では連続数２の損失ブロックの探索を示しており、初期位置が連続数２の損失ブロックに含まれていないため、初期位置から最も近い連続数２の損失ブロックを選択している。

ステップＳＴ６８において損失ブロックが存在すると判定された場合にはステップＳＴ６９の処理に進み、存在しないと判定された場合にはステップＳＴ７２の処理に進む。連続数Ｑの損失ブロックが品質測定区間内に存在しない場合、回復ブロック反映処理の残り回数Ｒは、連続数Ｑ−１の回復ブロック反映処理に加算されることになる。ステップＳＴ６６およびステップＳＴ６７において算出した損失ブロックはＦＥＣにより回復したものとみなし、マークを付与する（ステップＳＴ６９）。ステップＳＴ６９においてマークが付与された損失ブロックは、後に第２品質情報を生成するときにパケット損失はしていないものとみなされる。

次に、回復ブロック反映処理の残り回数である変数Ｒの値を１減算する（ステップＳＴ７０）。続いて、変数Ｒの値が０より大きいか否か判定を行う（ステップＳＴ７１）。ステップＳＴ７１において変数Ｒが０より大きいと判定された場合には、ステップＳＴ６５の処理に戻り上述した処理を繰り返す。一方、ステップＳＴ７１において変数Ｒが０より小さいと判定された場合には変数Ｑの値を１減算し（ステップＳＴ７２）、変数Ｑの値が０より大きいか否か判定を行う（ステップＳＴ７３）。ステップＳＴ７３において変数Ｑが０より大きいと判定された場合にはステップＳＴ６３の処理に戻り、上述した処理を繰り返す。一方、ステップＳＴ７３において変数Ｑが０より小さいと判定された場合には、処理を終了する。

図１５は、実施の形態１によるホームゲートウェイ装置の第２品質情報生成部が生成する第２品質情報の一例を示す図である。この第２品質情報はホームゲートウェイ装置４が品質管理システム８に送信する。
ユーザ識別情報Ａ３および装置識別情報Ｂ３は、それぞれ第１品質情報のユーザ識別情報Ａ１と装置識別情報Ｂ１と同一のものを付与する。異なるユーザの装置が接続された場合にホームゲートウェイ装置４が検出を行うために用いる。ユーザ識別情報Ａ３は、品質管理システム８が劣化映像の再現を行う際に、ユーザを識別するための情報である。同一ユーザであれば、映像受信端末６が送信する第１品質情報のユーザ識別情報Ａ１と同一の値となる。装置識別情報Ｂ３は、品質管理システム８において品質情報が映像受信端末６あるいはホームゲートウェイ装置４から送信されたものかを識別する際に用いる。図１５の識別情報Ｂ３の例では、ホームゲートウェイ装置４の識別情報が付与されている。

シーケンス番号Ｃ３およびパケット総数Ｆ３は、それぞれ品質制御情報のシーケンス番号Ｃ２とパケット総数Ｆ２と同一のものが付与される。パケット平均転送遅延時間Ｉ３は、映像受信端末６の第１品質情報におけるパケット平均転送遅延時間Ｉ１と同一の手順で算出され、パケットがパケット転送部４２に到着した時間は映像ストリーム監視部４４から取得したものを用いる。このパケット平均転送遅延時間Ｉ３は、品質管理システム８が仮想劣化映像の再現を行う際に用いる。これらユーザ識別情報Ａ３、装置識別情報Ｂ３、シーケンス番号Ｃ３、パケット総数Ｆ３およびパケット平均転送遅延時間Ｉ３は全て第２品質情報生成部４６により付与される。

さらに第２品質情報には、連続数が最小値「１」から順に最大値「パケット総数Ｆ３−１」までの損失ブロックの統計情報が含まれる。この統計情報は、品質管理システム８がパケット損失の確率分布に基づいて、仮想劣化映像の再現を行う際に用いる。統計情報は映像受信端末６が統計情報を算出する手順と同じであり、また図１５の例以外に損失ブロック位置の最大値、最小値、中央値、歪度などを第２品質情報に含めてもよい。

［品質管理システムの構成］
次に、品質管理システム８の詳細な構成について説明する。図１６は、実施の形態１による品質管理システムの構成を示すブロック図である。
品質管理システム８は、通信部８１、品質情報解析部８２、映像出力制御部８３、映像取得部８４、劣化映像再現部８５およびデコーダ８６で構成されている。
通信部８１は、外部ネットワーク３から映像受信端末６およびホームゲートウェイ装置４が送信する第１および第２品質情報を受信し、品質情報解析部８２へ出力する。品質情報解析部８２は、入力される品質情報の解析を行う。具体的には、品質情報に含まれるユーザ識別情報を参照してどのユーザから送信された品質情報かを識別し、装置識別情報を参照して映像受信端末６あるいはホームゲートウェイ装置４のどちらから送信された品質情報かを識別する。また、この品質管理システム８に対して、保守者が映像表示端末９に劣化映像を表示するユーザの選択操作を行うように構成してもよい。この場合品質情報解析部８２は選択されたユーザの品質情報の処理を行う。以下では、ユーザが一つ選択されたものとして説明する。

品質情報解析部８２は、映像受信端末６の第１品質情報に含まれる解像度Ｅ１を参照して品質情報映像出力制御部８３に設定し、視聴チャネルＤ１を参照して映像取得部８４に設定する。また品質情報解析部８２は、ホームゲートウェイ装置４および映像受信端末６から受け取った第１および第２品質情報を劣化映像再現部８５に出力する。品質情報映像出力制御部８３は、品質情報解析部８２により設定された解像度Ｅ１で、原映像、仮想劣化映像、およびユーザ側で再生されている劣化映像のそれぞれを映像表示端末９に出力する。映像取得部８４は、映像配信サーバ１から配信される映像ストリームから、品質情報解析部８２により設定された視聴チャネルＤ１の映像ストリームを取得する。また、取得した映像ストリームを劣化映像再現部８５に出力する。

劣化映像再現部８５は、映像取得部８４から入力された映像ストリームに対して、ホームゲートウェイ装置４の第２品質情報に基づき仮想劣化映像を再現する処理を行うと共に、映像受信端末６の第１品質情報に基づきユーザ側で再生されている劣化映像を再現する処理を行う。これらの仮想劣化映像およびユーザ側で再生される劣化映像の再現処理を行った映像ストリームと原映像の映像ストリームはデコーダ８６へ出力される。デコーダ８６は、劣化映像再現部８５から入力された映像パケットをデコードし、映像出力制御部８３に出力する。

続いて、図１７を参照しながら、劣化映像の再現処理について説明を行う。図１７は、実施の形態１による品質管理システムの劣化映像再現部の動作を示すフローチャートである。なお、仮想劣化映像およびユーザ側で再生されている劣化映像の再現方法は同一であり、共に以下に示すフローチャートに示す処理を実行する。そのため、以下では第１または第２品質情報と特定せず、両者を含む品質情報と記載して説明を行う。ただし、仮想劣化映像の再現にはホームゲートウェイ装置４からの第２品質情報を用い、ユーザ側で再生されている劣化映像の再現には映像受信端末６からの第１品質情報を用いる点のみ異なる。

まず、品質情報に含まれるシーケンス番号Ｃを参照し、最も古い品質情報を取得する（ステップＳＴ８１）。次に、映像取得部８４から入力される映像ストリームに含まれるパケットのシーケンス番号を参照し、ステップＳＴ８１において取得した品質情報に含まれる先頭パケットシーケンス番号Ｇと一致するパケットを特定する（ステップＳＴ８２）。映像ストリームに対して、ステップＳＴ８２において特定したパケットからパケット総数Ｆ分のパケットを抽出して、品質測定区間を確定する（ステップＳＴ８３）。なお、パケット総数Ｆは品質情報に含まれているものを用いる。品質情報に含まれる損失ブロックに関する統計情報を参照し、連続数の最大値を取得し、変数Ｔに設定する（ステップＳＴ８４）。品質情報を参照し、連続数Ｔの損失ブロック数Ｕを取得し、変数Ｕに設定する（ステップＳＴ８５）。

次に、用意した確率分布に基づいて損失させるブロックの初期位置を算出する（ステップＳＴ８６）。具体的には劣化映像再現部８５が乱数を生成し、確率分布に応じたブロックの初期位置を算出する。ただし、初期位置が品質測定区間外とならないように、区間外の確率は「０」とする対処を行う。なお、ネットワークの状況に応じて推定される確率モデルに、連続数Ｔの損失ブロック位置に関する統計情報を適用して確率関数を求めてもよい。また、確率分布は、連続数に応じて異なるものを使用してもよい。

続いて、初期位置−１から連続数Ｔ＋１の間に損失ブロックが存在するか否か判定を行う（ステップＳＴ８７）。ステップＳＴ８７において損失ブロックが存在しないと判定された場合にはステップＳＴ８９の処理に進む。一方、ステップＳＴ８７において損失ブロックが存在すると判定された場合には、算出した初期位置から最も近く、連続数Ｔの損失ブロックを生成可能な位置を探索する（ステップＳＴ８８）。なお、連続数Ｔの損失ブロックは他の損失ブロックとの重複や、連続をしてはならない。図１８にステップＳＴ８８の生成可能な損失ブロックの探索例を示している。図１８の例では連続数１の損失ブロックの探索例を示しており、初期位置が連続数２の損失ブロックに含まれているため、初期位置から最も近い連続数１の損失ブロックを生成可能な位置として選択している。

次に、ステップＳＴ８８において品質測定区間に算出した位置の損失ブロックを損失させる（ステップＳＴ８９）。変数Ｕの値を１減算し（ステップＳＴ９０）、変数Ｕの値が０より大きいか否か判定を行う（ステップＳＴ９１）。ステップＳＴ９１において変数Ｕが０より大きいと判定された場合には、ステップＳＴ８６の処理に戻り、上述した処理を繰り返す。一方、ステップＳＴ９１において変数Ｕが０より小さいと判定された場合には、変数Ｔの値を１減算し（ステップＳＴ９２）、変数Ｔの値が０より大きいか否か判定を行う（ステップＳＴ９３）。

ステップＳＴ９３において変数Ｔが０より大きいと判定された場合には、ステップＳＴ８５の処理に戻り、上述した処理を繰り返す。一方、ステップＳＴ９３において変数Ｔが０より小さいと判定された場合には、品質情報に含まれるパケット平均転送遅延時間Ｉを待って、品質測定区間のパケットをデコーダ８６へ出力する（ステップＳＴ９４）。なお、ステップＳＴ９４において平均転送遅延時間Ｉの待機を開始する前に、原映像、仮想劣化映像、およびユーザ側で再生されている劣化映像それぞれの同期をとる。同期をとることにより、各映像間でどの程度遅延の差が出ているか判別することができる。その後、ステップＳＴ８１において取得した品質情報を破棄し（ステップＳＴ９５）、ステップＳＴ８１へ戻り上述した処理を繰り返す。

以上のように、この実施の形態１によれば、映像受信端末６において第１品質情報を生成し、さらにホームゲートウェイ装置４において第２品質情報を生成し、品質管理システム８において第１品質情報に基づきユーザ側で再生されている劣化映像を再現し、第２品質情報に基づき仮想劣化映像を再現し、映像表示端末９において原映像、仮想劣化映像およびユーザ側で再生されている劣化映像を同時に確認可能に構成したので、ネットワーク上のどこで品質劣化が発生しているかが判別可能となる。具体的には、品質劣化原因が外部ネットワーク３上に存在するのか、あるいはホームネットワーク上５に存在するのか判別することができる。また、容易にユーザ体感品質の分析を行うことができる。

実施の形態２．
図１９は、この発明の実施の形態２による映像再現システムの構成を示す図である。図１９に示すように、この実施の形態２では映像再現システムに品質情報ストレージ１０と試験映像ストレージ（映像ストレージ）１１を追加して設けており、品質管理システム８がこれら品質情報ストレージ１０および試験映像ストレージ１１にアクセスする点が、上述した実施の形態１と異なる。その他の構成は実施の形態１による映像再現システムと同一であるため、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。なお、実施の形態１ではユーザが現に視聴している映像に対する劣化映像の再現について説明を行ったが、この実施の形態２では任意の映像を用いた劣化映像の再現について説明を行う。

品質管理システム８は、映像受信端末６およびホームゲートウェイ装置４から受信した第１および第２品質情報を品質情報ストレージ１０に蓄積する。品質情報ストレージ１０に蓄積された第１および第２品質情報は、品質管理システム８が劣化映像の再現処理を行う際に読み出す。試験映像ストレージ１１には予め任意の映像ストリームが格納されている。試験映像ストレージ１１に格納された映像ストリームは、品質管理システム８が劣化映像の再現処理を行う際に読み出す。これにより、任意の映像を用いて劣化映像の再現を行うことができる。

［品質管理システムの構成］
次に、品質管理システム８の詳細な構成について説明する。図２０は、実施の形態２による品質管理システムの構成を示すブロック図である。
品質情報解析部８２は、通信部８１を介して映像受信端末６およびホームゲートウェイ装置４から入力される第１および第２品質情報を受け取り、品質情報ストレージ１０に格納する。さらに品質情報解析部８２は、劣化映像の再現を行う際に品質情報ストレージ１０から第１および第２品質情報を読み出し、読み出した第１および第２品質情報の解析処理を行う。品質情報解析部８２は、実施の形態１において示した映像受信端末６の第１品質情報に含まれる視聴チャネルＤ１を映像取得部８４に設定する処理に変えて、パケット生成部８７に対して第１品質情報に含まれる先頭パケットのシーケンス番号Ｇ１を設定する処理を行う。なお、保守者が品質管理システム８に対して、品質情報ストレージ１０から取得する品質情報を選択操作するように構成してもよい。

映像取得部８４は、試験映像ストレージ１１に格納された映像ストリームを取得する。映像取得部８４は、実施の形態１とは異なり、映像受信端末６からの第１品質情報に含まれる視聴チャネルＤ１は用いない。試験映像ストレージ１１に格納されている映像ストリームは符号化されたコンテンツであり、ＲＴＰパケット化はされていないため、映像取得部８４は取得した映像ストリームをパケット生成部８７へ出力する。パケット生成部８７は、映像取得部８４から入力された映像ストリームのＲＴＰパケット化を行い、劣化映像再現部８５へ出力する。パケット生成部８７がＲＴＰパケット化を行う場合は、品質情報解析部８２から取得した先頭パケットのシーケンス番号から順番に、ＲＴＰパケットのシーケンス番号を付与する。以降、実施の形態１と同じ動作によって、映像表示端末９に映像が表示される。

実施の形態２による劣化映像の再現処理では、図１７示したシーケンスのステップＳＴ８２において、パケット生成部８７から入力される映像ストリームに含まれるパケットのシーケンス番号を参照し、一致するパケットを特定する。その他の処理は、実施の形態１と同一である。

以上のように、この実施の形態２によれば、品質情報ストレージ１０に格納された品質情報および試験映像ストレージ１１に格納された映像ストリームを用いて劣化映像の再現を行うように構成したので、ユーザが現に視聴している映像のみではなく、任意の映像についても劣化映像の再現を行うことができる。これにより、配信コンテンツの影響を考慮したユーザ体感品質の分析を行うことができる。

実施の形態３．
図２１は、この発明の実施の形態３による映像再現システムの構成を示す図である。この実施の形態３では実施の形態１で示したホームゲートウェイ装置４に替えて中継装置１２を設けている。中継装置１２は、ホームゲートウェイ装置４と同様の動作を行う。その他の構成は実施の形態１による映像再現システムと同一であるため、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。なお、実施の形態３の構成は、実施の形態２にも適用可能である。

中継装置１２は、外部ネットワーク３内に配置され、映像配信サーバ１から映像受信端末６への映像配信経路に存在する。中継装置１２は、ホームゲートウェイ装置４と同様に、映像受信端末６より受信した品質制御情報と監視している映像ストリームを用いて第２品質情報を生成する。生成した第２品質情報は品質管理システム８に送信する。

以上のように、この実施の形態３によれば、映像配信サーバ１から映像受信端末６への映像配信経路中の外部ネットワーク３に中継装置１２を設けるように構成したので、ホームゲートウェイ装置４での仮想劣化映像の再現のみではなく、中継装置１２における仮想劣化映像の再現を行うことができる。これにより、外部ネットワーク３上のどこに品質劣化の原因が存在するか判別することができる。

実施の形態４．
上述した実施の形態１から実施の形態３では、品質測定区間に含まれる各連続数の損失ブロックや回復ブロックから統計情報を算出して第１および第２品質情報および品質制御情報を生成する構成を示したが、この実施の形態４では、映像ストリームがＭＰＥＧ等のフレーム間符号化されている場合は、損失ブロックや回復ブロックがどのフレーム種別（例えばＩフレーム、Ｂフレーム、Ｐフレーム）に含まれるかを判定して、統計情報を算出する構成を示す。この構成ではどの種類のフレームが損失や回復しているかによって、品質の劣化度合いが異なる。そのため、フレーム種別の情報を付与した第１および第２品質情報と品質制御情報を生成する。

図２２は、この実施の形態４による映像受信端末の品質情報生成部において生成される第１品質情報の一例を示す図である。図２２に示すように、第１品質情報はフレーム種別の情報を含んでおり、各連続数の損失ブロックの統計情報はＩフレーム、Ｂフレーム、Ｐフレームごとに算出されている。この第１品質情報は品質管理システム８に出力され、品質管理システム８が劣化映像の再現を行う場合に、Ｉフレーム、Ｂフレーム、Ｐフレームごとに確率分布を用意して該当するフレーム種別のブロックを損失させる。なお、ホームゲートウェイ装置４が生成する第２品質情報および映像受信端末６が生成する品質制御情報についても同様の処理が行われる。

以上のように、この実施の形態４によれば、フレーム種別に応じたパケットの回復および損失を反映した劣化映像の再現を行うように構成したので、より正確な劣化映像の再現を行うことができる。

以上のように、この発明に係る映像再現システムは、映像通信サービスにおけるネットワーク上の品質劣化発生箇所を特定することができ、さらに映像通信サービス提供事業者が容易にユーザ体感品質の分析を行うことができるため、リアルタイムに映像通信を行うサービスにおいて、ユーザ側に劣化が生じた映像が提供された場合に当該劣化が生じた映像を再現するシステム等に用いるのに適している。

１映像配信サーバ、２映像ストレージ、３外部ネットワーク、４ホームゲートウェイ装置、５ホームネットワーク、６映像受信端末、７テレビ、８品質管理システム、９映像表示端末、１０品質情報ストレージ、１１試験映像ストレージ、１２中継装置、４１外部ネットワーク側通信部、４２パケット転送部、４３ホームネットワーク側通信部、４４映像ストリーム監視部、４５品質制御情報受信部、４６第２品質情報生成部、４７第２品質情報送信部、６１通信部、６２映像制御部、６３デコーダ、６４映像出力制御部、６５第１品質情報生成部、６６第１品質情報送信部、６７品質制御情報生成部、６８品質制御情報送信部、８１通信部、８２品質情報解析部、８３映像出力制御部、８４映像取得部、８５劣化映像再現部、８６デコーダ、８７パケット生成部、９１原映像表示部、９２仮想劣化映像表示部、９３ユーザ再生劣化映像表示部。

Claims

ネットワークを経由して行われる映像通信サービスで発生した品質劣化を再現する映像再現システムにおいて、
前記ネットワークを経由して配信される映像ストリームからユーザ側で再生する映像の品質を示す第１品質情報、および受信端末内での映像の品質の変化を示す品質制御情報を生成する受信端末と、
前記映像ストリームの配信に用いられるネットワーク上に設けられ、前記受信端末で生成された品質制御情報を用いて受信端末内での映像の品質の変化を反映させ、当該映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像の品質を示す第２品質情報を生成するホームゲートウェイ装置と、
前記ネットワークを経由して配信される前の原映像ストリームおよび前記受信端末で生成された第１品質情報を用いてユーザ側で再生される映像を再現すると共に、前記原映像ストリームおよび前記ホームゲートウェイ装置で生成された第２品質情報を用いて前記ユーザ側で再生される映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像を再現する品質管理装置と、
を備えたことを特徴とする映像再現システム。
前記第１および第２品質情報は、映像ストリームに含まれるパケットのうち損失パケットの連続数毎に収集したパケットの位置に関する統計情報、およびパケット平均転送遅延時間を含むことを特徴とする請求項１記載の映像再現システム。
前記品質制御情報は、映像ストリームに含まれるパケットのうちＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）処理による回復パケットの連続数毎に収集したパケット位置に関する統計情報、および前記受信端末がパケット廃棄と判断するパケット転送遅延時間の最小値を含むことを特徴とする請求項１記載の映像再現システム。
前記受信端末は、配信される映像ストリームから第１品質情報を生成する第１品質情報生成部と、前記第１品質情報を前記品質管理装置に送信する第１品質情報送信部と、前記配信される映像ストリームおよび前記第１品質情報に基づき品質制御情報を生成する品質制御情報生成部と、前記品質制御情報を前記ホームゲートウェイ装置へ送信する品質制御情報送信部とを備えたことを特徴とする請求項１記載の映像再現システム。
前記第１品質情報生成部は、ＦＥＣ処理による回復前の映像ストリームを参照し、連続する損失パケットおよび連続する回復パケットを分断することなく、第１品質情報を生成する区間として映像ストリームをパケット単位に分割することを特徴とする請求項４記載の映像再現システム。
前記ホームゲートウェイ装置は、前記受信端末に配信される映像ストリームを監視する監視部と、前記受信端末が送信する品質制御情報を受信する品質制御情報受信部と、前記監視部が監視する映像ストリームおよび前記品質制御情報受信部が受信した品質制御情報を用いて第２品質情報を生成する第２品質情報生成部と、前記第２品質情報を前記品質管理装置へ送信する第２品質情報送信部とを備えたことを特徴とする請求項１記載の映像再現システム。
前記第２品質情報生成部は、前記監視部が監視する映像ストリームに対して、品質制御情報に含まれるＦＥＣ処理による回復パケットの統計情報および確率分布を用いて擬似的にＦＥＣによる回復処理を行うことを特徴とする請求項６記載の映像再現システム。
前記第２品質情報生成部は、前記監視部が監視する映像ストリームに対して、品質制御情報に含まれる、前記受信端末がパケット廃棄と判断するパケット転送遅延時間の最小値を用いて擬似的にパケット転送遅延によるパケット廃棄処理を行うことを特徴とする請求項６記載の映像再現システム。
前記品質管理装置は、外部ネットワークを経由して配信される前の原映像ストリームを取得する映像取得部と、前記受信端末が生成した第１品質情報および前記ホームゲートウェイ装置が生成した第２品質情報を受信して解析する品質情報解析部と、前記品質情報解析部の解析結果に基づき、前記映像取得部が取得した原映像ストリームを用いてユーザ側で再生される映像の再現、あるいは仮想映像の再現を行う映像再現部とを備えたことを特徴とする請求項１記載の映像再現システム。
前記映像再現部は、原映像ストリームに対して、第１または第２品質情報に含まれる損失パケットの統計情報および確率分布を用いて、擬似的にパケット損失処理を行うことを特徴とする請求項９記載の映像再現システム。
前記映像再現部は、原映像ストリームに対して、第１または第２品質情報に含まれるパケット平均転送遅延時間を用いて、擬似的にパケット転送遅延処理を行うことを特徴とする請求項９記載の映像再現システム。
任意の映像ストリームを格納する映像ストレージと、
前記受信端末が生成した第１品質情報および前記ホームゲートウェイ装置が生成した第２品質情報を格納する品質情報ストレージとを備え、
前記品質管理装置は、前記映像ストレージから映像ストリームを取得する映像取得部と、前記映像取得部が取得した映像ストリームをＲＴＰパケット化するパケット生成部と、前記品質情報ストレージから前記第１品質情報および第２品質情報を取得して解析する品質情報解析部と、前記品質情報解析部の解析結果に基づき、前記パケット生成部によりパケット化された映像ストリームを用いてユーザ側で再生される映像の再現、あるいは仮想映像の再現を行う映像再現部とを備えたことを特徴とする請求項１記載の映像再現システム。
前記ホームゲートウェイ装置は、外部ネットワーク内に配置された中継装置であることを特徴とする請求項１記載の映像再現システム。
前記第１および第２品質情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与した損失パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項１記載の映像再現システム。
前記品質制御情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与したＦＥＣ処理による回復パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項１記載の映像再現システム。
ネットワークを経由して配信される映像ストリームからユーザ側で再生される映像の品質を示す第１品質情報、および受信端末内での映像の品質の変化を示す品質制御情報を生成し、前記ネットワークを介して接続されたホームゲートウェイ装置に対して前記品質制御情報を送信すると共に、ユーザ側で再生される映像および当該映像が前記ホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像を再現する品質管理装置に対して前記第１品質情報を送信する受信端末。
前記第１品質情報は、映像ストリームに含まれるパケットのうち損失パケットの連続数毎に収集したパケットの位置に関する統計情報、およびパケット平均転送遅延時間を含むことを特徴とする請求項１６記載の受信端末。
前記品質制御情報は、映像ストリームに含まれるパケットのうちＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）処理による回復パケットの連続数毎に収集したパケット位置に関する統計情報、および前記受信端末がパケット廃棄と判断するパケット転送遅延時間の最小値を含むことを特徴とする請求項１６記載の受信端末。
配信される映像ストリームから第１品質情報を生成する第１品質情報生成部と、前記第１品質情報を送信する第１品質情報送信部と、前記配信される映像ストリームおよび前記第１品質情報に基づき品質制御情報を生成する品質制御情報生成部と、前記品質制御情報を送信する品質制御情報送信部とを備えたことを特徴とする請求項１６記載の受信端末。
前記第１品質情報生成部は、ＦＥＣ処理による回復前の映像ストリームを参照し、連続する損失パケットおよび連続する回復パケットを分断することなく、第１品質情報を生成する区間として映像ストリームをパケット単位に分割することを特徴とする請求項１９記載の受信端末。
前記第１品質情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与した損失パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項１６記載の受信端末。
前記品質制御情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与したＦＥＣ処理による回復パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項１６記載の受信端末。
映像ストリームの配信に用いられるネットワーク上に設けられ、当該ネットワークを介して接続された受信端末から受信した品質制御情報を用いて前記受信端末内での映像の品質の変化を反映させ、当該映像がホームゲートウェイ装置の設置位置で再生されるとみなした場合の仮想映像の品質を示す第２品質情報を生成し、ユーザ側で再生される映像および当該仮想映像を再現する品質管理装置に対して前記第２品質情報を送信するホームゲートウェイ装置。
前記第２品質情報は、映像ストリームに含まれるパケットのうち損失パケットの連続数毎に収集したパケットの位置に関する統計情報、およびパケット平均転送遅延時間を含むことを特徴とする請求項２３記載のホームゲートウェイ装置。
前記品質制御情報は、映像ストリームに含まれるパケットのうちＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）処理による回復パケットの連続数毎に収集したパケット位置に関する統計情報、およびパケット廃棄と判断されるパケット転送遅延時間の最小値を含むことを特徴とする請求項２３記載のホームゲートウェイ装置。
配信される映像ストリームを監視する監視部と、品質制御情報を受信する品質制御情報受信部と、前記監視部が監視する映像ストリームおよび前記品質制御情報受信部が受信した品質制御情報を用いて第２品質情報を生成する第２品質情報生成部と、前記第２品質情報を送信する第２品質情報送信部とを備えたことを特徴とする請求項２３記載のホームゲートウェイ装置。
前記第２品質情報生成部は、前記監視部が監視する映像ストリームに対して、品質制御情報に含まれるＦＥＣ処理による回復パケットの統計情報および確率分布を用いて擬似的にＦＥＣによる回復処理を行うことを特徴とする請求項２６記載のホームゲートウェイ装置。
前記第２品質情報生成部は、前記監視部が監視する映像ストリームに対して、品質制御情報に含まれるパケット廃棄と判断されるパケット転送遅延時間の最小値を用いて擬似的にパケット転送遅延によるパケット廃棄処理を行うことを特徴とする請求項２６記載のホームゲートウェイ装置。
外部ネットワーク内に配置された中継装置であることを特徴とする請求項２３記載のホームゲートウェイ装置。
前記第２品質情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与した損失パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項２３記載のホームゲートウェイ装置。
前記品質制御情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与したＦＥＣ処理による回復パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項２３記載のホームゲートウェイ装置。
ネットワークを経由して配信される前の原映像ストリームとユーザ側で再生された映像の品質を示す第１品質情報とを用いてユーザ側で再生される映像を再現すると共に、前記原映像ストリームと前記ユーザ側で再生される映像がネットワーク上の特定位置で再生されるとみなした場合の仮想映像の品質を示す第２品質情報とを用いて仮想映像を再現する品質管理装置。
前記第１および第２品質情報は、映像ストリームに含まれるパケットのうち損失パケッ
トの連続数毎に収集したパケットの位置に関する統計情報、およびパケット平均転送遅延
時間を含むことを特徴とする請求項３２記載の品質管理装置。
配信される前の原映像ストリームを取得する映像取得部と、第１品質情報および第２品質情報を受信して解析する品質情報解析部と、前記品質情報解析部の解析結果に基づき、前記映像取得部が取得した原映像ストリームを用いてユーザ側で再生される映像の再現、あるいは仮想映像の再現を行う映像再現部とを備えたことを特徴とする請求項３２記載の品質管理装置。
前記映像再現部は、原映像ストリームに対して、第１または第２品質情報に含まれる損失パケットの統計情報および確率分布を用いて、擬似的にパケット損失処理を行うことを特徴とする請求項３４記載の品質管理装置。
前記映像再現部は、原映像ストリームに対して、第１または第２品質情報に含まれるパケット平均転送遅延時間を用いて、擬似的にパケット転送遅延処理を行うことを特徴とする請求項３４記載の品質管理装置。
任意の映像ストリームを格納する映像ストレージから映像ストリームを取得する映像取得部と、前記映像取得部が取得した映像ストリームをＲＴＰパケット化するパケット生成部と、第１および第２品質情報を格納する品質情報ストレージから前記第１品質情報および第２品質情報を取得して解析する品質情報解析部と、前記品質情報解析部の解析結果に基づき、前記パケット生成部によりパケット化された映像ストリームを用いてユーザ側で再生される映像の再現、あるいは仮想映像の再現を行う映像再現部とを備えたことを特徴とする請求項３２記載の品質管理装置。
前記第１および第２品質情報は、映像ストリームがフレーム間符号化されている場合に、フレーム種別の情報を付与した損失パケットの連続数毎に収集したパケットの位置に関する統計情報を含むことを特徴とする請求項３２記載の品質管理装置。