JP4377357B2 - 映像品質推定装置および映像品質推定方法 - Google Patents

Description

この発明は、通信ネットワークを介する映像サービスの品質管理技術に関し、特にパケット列に変換されて送られてくる映像信号の品質を推定する映像品質推定装置および映像品質推定方法に関するものである。

近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス（リアルタイム系の映像アプリケーション）が普及しつつある。これらの映像系のサービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、ユーザ側の端末（以下、ユーザ端末と呼ぶ）へ送るようにしている。

例えば、フレーム間予測を用いずフレーム内で符号化処理を行うＩ（Intra Picture ）フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰ（Predictive Picture）フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うＢ（Bidirectionally Predictive Picture）フレームという３種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介してユーザ端末へ送るようにしている。

この場合、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、１パケットの損失による映像品質の劣化が１映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況（ネットワーク品質）と映像アプリケーションでの品質劣化の発生状況（アプリケーション品質）とは必ずしも一致しない。

そこで、特許文献１では、品質推定の精度向上を図るべく、動画符号の特定の一部の復号において、他の部分の復号値を参照する場合、この特定の一部の動画符号の復号値へ、他の部分の復号値の任意の異常が波及することを検出するようにし、映像フレーム毎に品質劣化の面積を算出するようにしている。

特開２０００−３４１６８８号公報（段落〔００４９〕、〔００８３〕〜〔００８９〕、〔０１１１〕などの記載参照） ITU-T Recommendation G.107,"The E-Model,a computational model for use in transmission planning",May 2000. A.Clark,"Modeling the Effects of Burst Packet Loss and Recensy on Subjective Voice Quality",IP Telephony Workshop 2001,Apr.2001. R.Caseres and A.Clark,"RTP Control Protocol Extended Reports(RTCP XR)",IETF RFC3611,May 2003.

しかしながら、上述した特許文献１に示された技術では、復号器において、パケットの動画符号の状況を細かく追う必要があり、構成が複雑となる。

なお、本出願人は、先に特願２００４−２１３１３８（参考文献１）として、映像の劣化面積と劣化継続時間に基づいてユーザ端末で復号される映像の品質を推定する技術を提案した。この技術によれば、簡単な構成で、精度良く、映像品質の推定を行うことができる。しかし、映像の劣化面積や劣化継続時間の他にも考慮しきれていない品質劣化要因が存在し、さらに高精度かつ効率的な映像品質の推定が望まれている。

ネットワーク品質からユーザ体感品質を推定・管理する技術として、例えば非特許文献１，２，３など他にも示されているが、これらの技術も上述した参考文献１と同様、考慮しきれていない品質劣化要因が存在し、精度が高いとは言えない。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、簡単な構成で、より高精度に、より効率的に、映像品質の推定を行うことができる映像品質推定装置および映像品質推定方法を提供することにある。

このような目的を達成するために本発明は、パケット列に変換されて送られてくる映像信号を受信し復号する復号手段と、少なくとも映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定する中間パラメータ決定手段と、復号した映像信号を解析しその映像信号の劣化種別を判定する劣化種別判定手段と、劣化種別判定手段によって判定された劣化種別に応ずる中間パラメータと映像品質との関係から中間パラメータ決定手段によって決定された中間パラメータに応ずる映像品質を推定する品質推定手段とを設けたものである。

この発明では、ネットワークや端末におけるパケットの損失情報などに基づいて所要のパラメータが中間パラメータとして決定され、復号した映像信号を解析してその映像信号の劣化種別が判定され、この判定された劣化種別に応ずる中間パラメータと映像品質との関係から、前記決定された中間パラメータに応ずる映像品質が求められる。なお、本発明において、映像信号の劣化種別は、例えば、復号した映像信号から品質劣化の特徴量をメディア特徴量として抽出し、このメディア特徴量から判定する。

映像に関する情報が欠落した場合（例えば、メディア情報、フレーム構成情報等がネットワーク上のパケット損失によって欠落したような場合）、情報が欠落したフレーム全てを再生せずにコマ飛びをするような現象やフレーム内で欠落した情報を補完または削除して再生するブロック歪み等、アプリケーションに依存して再生映像に様々な劣化現象が発生する。これらの劣化現象は、ユーザが体感する品質に与える影響も大きく、これらの現象（劣化種別）を認識することは、ユーザが体感する品質を監視する上で重要な役割を担っている。この劣化種別を考慮して、ユーザが体感する品質を推定することにより、より高精度に、より効率的に、映像品質の推定を行うことが可能となる。

本発明において、中間パラメータとしては、例えば、同一グループ（例えば、同一ＧＯＰ）内の劣化フレーム数が挙げられる。この場合、同一グループ内に重複して劣化と判断されたフレームが存在するか否かを確認し、重複して劣化と判断されたフレームが存在した場合、劣化フレーム数にその劣化種別に応ずる重み付けを施し、事前に設定されている劣化フレーム数と映像品質との関係から前記重み付けが施された劣化フレーム数に応ずる映像品質（ユーザが体感する映像品質）を求めるようにすることが考えられる。

また、同一グループ内に重複して劣化と判断されたフレームが存在するか否かを確認し、重複して劣化と判断されたフレームが存在した場合、同一グループ内に重複して劣化と判断されたフレームが存在した場合の映像品質の低下量の測定値から求められ事前に設定されている重み付けを劣化フレーム数に施し、この重み付けが施された劣化フレーム数に劣化種別に応ずる重み係数を乗じ、事前に設定されている劣化フレーム数と映像品質との関係から前記重み係数が乗じられた劣化フレーム数に応ずる映像品質（ユーザが体感する映像品質）を求めるようにすることが考えられる。

また、同一グループ内に所定の範囲に収まるフレームの劣化間隔が存在するか否かを確認し、所定の範囲に収まるフレームの劣化間隔が存在した場合、劣化フレーム数にその劣化種別に応ずる重み付けを施し、事前に設定されている劣化フレーム数と映像品質との関係から前記重み付けが施された劣化フレーム数に応ずる映像品質（ユーザが体感する映像品質）を求めるようにすることが考えられる。

また、同一グループ内に所定の範囲に収まるフレームの劣化間隔が存在するか否かを確認し、所定の範囲に収まるフレームの劣化間隔が存在した場合、同一グループ内にフレームの劣化間隔が存在した場合の映像品質の低下量の測定値から求められ事前に設定されている重み付けを劣化フレーム数に施し、この重み付けが施された劣化フレーム数に劣化種別に応ずる重み係数を乗じ、事前に設定されている劣化フレーム数と映像品質との関係からこの重み係数が乗じられた劣化フレーム数に応ずる映像品質（ユーザが体感する映像品質）を求めるようにすることが考えられる。

なお、本発明では、劣化種別に応じた「中間パラメータと映像品質との関係」から映像品質を求めるが、中間パラメータに対して映像信号の劣化種別に応じた重み付けを行って実質的に中間パラメータと映像品質との関係を変えるようにしたり、映像信号の劣化種別に応じた重み付けを施した品質推定モデルを使用したり、映像信号の劣化種別に応じて個別に定められた品質推定モデルを使用したりするなど、各種の方法が考えられる。

また、本発明において、中間パラメータと映像品質との関係は、数式としてモデル化するのみではなく、中間パラメータと映像品質との関係を整理してテーブルとして記録し、それを品質推定モデルとするなどとしてもよい。
また、中間パラメータとしては、例えば、ＴＳパケット損失率やＴＳパケットの損失間隔を考慮したＴＳパケット損失率、劣化フレーム数、劣化間隔を考慮した劣化フレーム数などが挙げられる。

また、本発明は、映像品質推定装置としてではなく、映像品質推定方法としても実現することが可能である。また、本発明において、映像品質の推定は、ユーザ端末側ではなく、ネットワークに接続された管理端末側で行うようにしてもよい。この場合、ユーザ端末と管理端末とに機能が分散され、ユーザ端末と管理端末とを合わせた装置が、本発明に係る映像品質推定装置となる。

本発明によれば、ネットワークや端末におけるパケットの損失情報などに基づいて劣化フレーム数などの所要のパラメータが中間パラメータとして決定され、映像信号の劣化種別（コマ飛び、ブロック歪みなど）を考慮して端末で復号される映像の品質が推定されるものとなり、簡単な構成で、より高精度に、より効率的に、映像品質の推定を行うことができるようになる。

以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１〕
図１は本発明に係る映像品質推定装置を含む映像配信システムの一例（実施の形態１）を示すブロック構成図である。

同図において、１はカメラや録画映像の再生装置などの映像入力装置、２は映像入力装置１からの映像信号を高能率圧縮符号化しパケット列に変換する映像符号化装置、３は映像符号化装置２から送られてくるパケット列に変換された映像信号をネットワーク（インターネット網）４を介してユーザ端末ＵＴへ配信する映像配信サーバ、５は映像品質を管理する映像品質管理装置である。

このシステムにおいて、映像配信サーバ３は配信端末ＤＴに設けられ、映像品質管理装置５は管理端末ＣＴに設けられ、配信端末ＤＴとユーザ端末ＵＴと管理端末ＣＴとはネットワーク４を介して相互に接続されている。ユーザ端末ＵＴは、復号装置６と、映像品質推定装置７と、品質情報通信装置８とを備えている。

〔映像符号化装置〕
図２に映像符号化装置２の概略構成を示す。映像符号化装置２は、高能率圧縮符号化部２１と、パケット変換部２２と、情報埋込部２３とを備えている。高能率圧縮符号化部２１は、映像入力装置１からの映像信号をＩフレーム、Ｐフレーム、Ｂフレームにより高能率圧縮符号化する。これら３種類のフレームは、規則性をもって生成され、符号化される。パケット変換部２２は、高能率圧縮符号化部２１により高能率圧縮符号化された映像信号をパケット列（パケットＰ１，Ｐ２，Ｐ３・・・・）に変換し、情報埋込部２３へ送る。

情報埋込部２３は、パケット変換部２２からのパケット（映像パケット）Ｐのそれぞれのヘッダ内のＴＯＳビットもしくはペイロード内に、その映像パケットＰが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。この実施の形態では、高能率圧縮符号化時のフレーム種別としてＩフレーム、Ｐフレーム、Ｂフレームの種別（Ｉ，Ｐ，Ｂ）を、フレーム発生規則としてＩフレーム、Ｐフレーム、Ｂフレームの発生規則であるＧＯＰ（Group of pictures ）のパラメータを埋め込む。具体的には、Ｉピクチャの繰り返し周期Ｎ、およびＰまたはＩの繰り返し周期Ｍを映像パケットＰに埋め込む。

なお、映像パケットＰのヘッダ内には、その映像パケットＰを特定する情報として、その映像パケットＰの生成番号が書き込まれることは言うまでもない。また、この実施の形態では、パケット変換部２２の後段に情報埋込部２３を設けたが、パケット変換部２２の前段に情報埋込部２３を設けるようにしてもよい。すなわち、高能率圧縮符号化に際する各フレームの符号化データにフレーム種別やフレーム発生規則を付すことにより、各映像パケットにフレーム種別やフレーム発生規則が埋め込まれるようにしてもよい。

〔映像配信サーバ〕
情報埋込部２３からの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が埋め込まれた映像パケットＰは映像配信サーバ３へ送られる。映像配信サーバ３は映像符号化装置２からの映像パケットＰをネットワーク４を介してユーザ端末ＵＴへ送る。また、映像配信サーバ３は、ユーザ端末ＵＴへ送信する映像信号のパケットに関する情報（例えば、送信パケット数やパケットヘッダ等に記載されるシーケンス番号等）を送信品質情報として取得し、この送信品質情報を制御用パケットによってユーザ端末ＵＴへ送る。

〔復号装置〕
ユーザ端末ＵＴは映像配信サーバ３からの映像パケットＰを復号装置６において受信する。復号装置６は、映像配信サーバ３からの映像パケットＰを次々に受信し、その映像パケットＰのデータを復号して行くと共に、受信した映像パケットの情報および復号した映像信号を映像品質推定装置７へ送る。

〔映像品質推定装置〕
図３に映像品質推定装置７の内部構成の概略を示す。映像品質推定装置７には、ネットワーク／端末品質情報解析部７１と、映像品質情報測定部７２と、主観品質推定部７３と、品質劣化要因・品質推定値保存部７４とが設けられている。

ネットワーク／端末品質情報解析部７１には、復号装置６からの受信した映像パケットの情報と、ネットワーク４を介する映像配信サーバ３からの制御用パケットによる送信品質情報が与えられる。映像品質情報測定部７２には復号装置６からの復号された映像信号が与えられる。

ネットワーク／端末品質情報解析部７１は、パケット情報取得手段７１１と、映像フレーム識別手段７１２と、損失パターン判定手段７１３とを有している。

パケット情報取得手段７１１は、映像配信サーバ３からの制御用パケットより、送信品質情報（送信側の品質情報）を取得する。また、復号装置６からの受信した映像パケットの情報および復号装置６における揺らぎ吸収バッファ（図示せず）のサイズ等を利用して、受信側での品質情報を取得する。

映像フレーム識別手段７１２は、受信した映像パケットの情報を解析し、到着したパケット、ネットワーク／端末上で欠落したパケット（損失パケット）について、フレーム番号およびフレーム種別（Ｉ，Ｐ，Ｂ）を識別する。

損失パターン判定手段７１３は、パケット情報取得手段７１１および映像フレーム識別手段７１２で得られた情報から損失パターンを解析し、この損失パターンに基づいて映像品質の推定に必要なパラメータを中間パラメータとして決定する。

この実施の形態において、損失パターン判定手段７１３は、ネットワーク／端末上で欠落した損失パケットについて、そのフレーム種別を認識し、そのフレームが損失することによって、その他のフレームにどの程度の影響を及ぼすかを判断する（例えば、Ｉフレームが損失した際には後ろの３フレームも劣化が発生するなど、ＧＯＰ構成によって各フレーム種別が何フレームに渡って影響を与えるかが分かる）。

そして、フレーム内で複数の損失が発生しているかの判定やフレームレベルで換算した際に、連続してフレームが損失しているか否か等の損失パターン情報も認識し、この情報に基づいて、映像品質の推定に必要な中間パラメータ（例えば、同一ＧＯＰ内の劣化フレーム数、損失パケット数、送信パケット数、受信フレーム数、受信フレーム種別、バッファ漏れパケット、バッファリング時間、映像／音声のＣＯＤＥＣ種別、映像ビットレート等）を決定する。損失パターン判定手段７１３が決定した中間パラメータは主観品質推定部７３へ送られる。

映像品質情報測定部７２は、特徴量抽出手段７２１と劣化種別判定手段７２２とを備えている。
特徴量抽出手段７２１は、復号装置６からの復号された映像信号を解析し、品質劣化の特徴量（メディア特徴量）抽出する。本実施の形態では、メディア特徴量として、出力映像のマクロブロックの品質劣化情報（例えば、マクロブロックの劣化面積）を抽出する。

なお、マクロブロックとは、映像を表示させるための構成単位であり、これらのブロックが複数配列されることにより、１枚の映像を表示することができる。例えば、ＭＰＥＧ２では、マクロブロック単位を１６×１６画素としている。

劣化種別判定手段７２２は、特徴量抽出手段７２１が抽出したメディア特徴量に基づいて、その映像信号の劣化種別（ブロック歪み、コマ飛び等の現象）を判定する。例えば、時系列上に並べたフレームの劣化面積を確認することで、その面積に時系列的に変化が生じていれば、ブロック歪みと認識し、時系列的に、面積が変わらず、フレーム内のマクロブロック情報も、ある一定時間変化がなかった場合には、コマ飛びと認識する。劣化種別判定手段７２２が判定した劣化種別は主観品質推定部７３へ送られる。

なお、対象アプリケーションに対して、事前に劣化種別が決定しているような場合には、その情報を使用する。例えば、映像配信サーバ３から劣化種別を品質情報として制御用パケットによりユーザ端末ＵＴへ送るようにし、ユーザ端末ＵＴにおいて映像の劣化が生じた場合、映像配信サーバ３からの劣化種別を主観品質推定部７３で使用する。

主観品質推定部７３には、中間パラメータとユーザが体感する映像品質（ＭＯＳ）との関係を示す品質推定モデルが定められ、事前に設定されている。主観品質推定部７３は、ネットワーク／端末品質情報解析部７１からの中間パラメータと映像品質情報測定部７２からの映像信号の劣化種別とから、事前に設定されている品質推定モデルを用いて、ユーザ端末ＵＴで復号される映像の品質（主観品質）を推定する。この主観品質推定部７３が推定した主観品質（主観品質推定値）は品質劣化要因・品質推定値保存部７４へ送られる。

品質劣化要因・品質推定値保存部７４は、主観品質推定部７３からの主観品質推定値および、品質が劣化した際には、その品質劣化要因（例えば、フレーム損失、損失パターン、中間パラメータなど）を保存する。また、それらの情報を、ある一定時間毎に集計して保存する。例えば、推定した主観品質推定値を平均したり、時系列的に並べる等して保存する。

〔品質情報通信装置〕
品質情報通信装置８は、ある一定時間間隔（品質管理周期）で、品質劣化要因・品質推定値保存部７４に保存されている主観品質推定値およびその品質劣化要因を制御用パケットを利用して、管理端末ＣＴ内の映像品質管理装置５に送信する。

なお、この実施の形態において、配信端末ＤＴとユーザ端末ＵＴとの間の制御用パケットやユーザ端末ＵＴと管理端末ＣＴとの間の制御用パケットなどにはＲＴＣＰ（RTP Control Protocol）が用いられ、これら制御用パケットはＲＴＰ（Real-time Transport Protocol）に基づいて送受信される。

〔映像品質管理装置〕
映像品質管理装置５には、図４に示すように、映像品質管理目標値テーブル５１と映像品質判定部５２が設けられている。映像品質判定部５２は、ユーザ端末ＵＴから主観品質推定値およびその品質劣化要因が埋め込まれた制御用パケットが送られてくると、この制御用パケットから主観品質推定値およびその品質劣化要因を抽出する。そして、抽出した主観品質推定値に対応する映像品質管理目標値を映像品質管理目標値テーブル５１より取り出し、両者を比較することによって映像品質の劣化を判定し、その判定結果に応じた品質管理のアクションをとる。

なお、この実施の形態では、ユーザ端末ＵＴへ送る映像パケット毎にその映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むようにしたが、ユーザ端末ＵＴへ送る映像パケット毎にその映像パケットの生成番号、その映像パケットＰが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を記したテーブル（パケット情報テーブル）を制御用パケットに埋め込み、ネットワーク４を介してユーザ端末ＵＴに送るようにしてもよい。この場合、ユーザ端末ＵＴでは、ネットワーク４を介して送られてくる制御用パケットに埋め込まれたテーブルを参照することにより、到着したパケット、ネットワーク／端末上で欠落したパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。

〔主観品質推定部における品質推定モデル〕
本実施の形態において、主観品質推定部７３における品質推定モデルは、中間パラメータとＭＯＳ（ユーザが体感する映像品質）との関係を回帰曲線によってモデル化することによって作成する。なお、本出願人が先に提案した参考文献１では、パケット損失率とＭＯＳとの関係（図５参照）では品質の推定が困難であるとし、劣化継続長および劣化量に基づいて算出した総劣化フレーム数とＭＯＳとの関係（図６参照）を品質推定モデルとした。

本実施の形態では、品質推定精度を向上させるために、状況に応じて映像品質の推定に必要な中間パラメータを決定し、この中間パラメータに対して映像信号の劣化種別に応じた重み付けを行ったり、映像信号の劣化種別に応じた重み付けを施した品質推定モデルを使用したり、映像信号の劣化種別に応じた品質推定モデルを使用したりする。

以下、幾つかの中間パラメータを使用した主観品質の推定例について、具体的に説明する。なお、この例は、相互に関係しているわけではなく、それぞれ独立した推定方法であり、運用、推定精度を考慮して使い分ける、もしくは併用するなどする。

〔推定例１：重複して劣化と判断されたフレームの有無に関する情報を含む劣化フレーム数を中間パラメータとする例〕
例えば、損失パターン判定手段７１３において、中間パラメータとして「同一ＧＯＰ内の重複して劣化と判断されたフレーム（以下、重複劣化フレームと呼ぶ）の有無に関する情報を含む劣化フレーム数」が決定されたとする。

なお、重複劣化フレームとは、例えばそのフレーム自体が劣化と判断された場合と、他の劣化したフレームの影響を受けて劣化したと判断された場合など、重複して劣化したと判断されたフレームを言う。

主観品質推定部７３には、劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図７参照）が定められ、事前に設定されている。この品質推定モデルは、重複劣化フレームがないことを条件として、同一ＧＯＰ内の劣化フレーム数とＭＯＳとの関係を回帰式によって定式化して定めたものである。

なお、図７は、指数近似によって回帰曲線を求めているが、近似に関しては、劣化フレーム数とＭＯＳとの相関が最も高くなるようにすれば、利用する確率モデルは問わない。また、これらの関係は、数式としてモデル化するのみではなく、劣化フレーム数とＭＯＳとの関係を整理してテーブルとして記録し、それを品質推定モデルとしてもよい。

主観品質推定部７３は、損失パターン判定手段７１３から送られてくる同一ＧＯＰ内の重複劣化フレームの有無に関する情報を含む劣化フレーム数を入力とし、重複劣化フレームがあった場合、入力された劣化フレーム数に劣化種別判定手段７２２からの劣化種別に応ずる重み付けを施し、この重み付けされた劣化フレーム数より事前に設定されている劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図７）から映像品質を求め、この映像品質をユーザ端末ＵＴで復号される映像の品質推定値（主観品質推定値）とする。

この例において、劣化フレーム数に対する重みは、次のようにして定める。同一ＧＯＰ内で重複劣化フレームが無い条件での劣化フレーム数とＭＯＳとの関係を事前に回帰式などでモデル化し（図８参照）、この回帰式から、重複劣化フレームがある場合のＭＯＳの低下量に対する劣化フレーム数の変化量を計算し、その値を重みとして利用する。

例えば、図８の場合、「同一ＧＯＰ内で重複劣化フレームが無い条件」でＭＯＳ＝３であったとし、「同一ＧＯＰ内で重複劣化フレームがある条件」の場合、ＭＯＳ＝２．５であったとすると、同一ＧＯＰ内で重複劣化フレームが存在することにより、劣化フレーム数が１５増加した時と同等の値となるため、この値を重みとする。このように、図８に示す回帰曲線の逆関数を利用しても構わないし、ここで算出した値（重み＝１５）を固定値として利用しても構わない。この例では、ここで算出した値を固定値として利用し、主観品質推定部７３に設定しておく。また、この「重み＝１５」に対し、劣化種別に応じた重み係数（もしくは、関数）を事前に作成しておき、主観品質推定部７３に設定しておく。

主観品質推定部７３は、例えば、損失パターン判定手段７１３から「重複劣化フレーム有り」として「劣化フレーム数＝２０」が送られてきた場合、下記に示す重み付け条件に従い、「劣化フレーム数＝２０」に「重み＝１５」を加える。そして、この「重み＝１５」を加えた「劣化フレーム数＝２０＋１５＝３５」に劣化種別に応じた重み係数（もしくは、関数）を乗じて重み付き劣化フレーム数とし、この重み付き劣化フレーム数より事前に設定されている劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図７）から主観品質推定値を得る。

重み付け条件
「ＩＦ：同一ＧＯＰ内で劣化フレームがある、ＴＨＥＮ：ＭＯＳ低下量から決められた１５フレームの重みをつける」

本来、複数のフレームに影響を及ぼすフレーム（例えば、Ｐフレーム）が損失した場合（例えば、網上でパケットが欠落した場合など）、その影響を受けるフレーム（例えば、Ｂフレーム）は、既に劣化することが決定するが、それに加えて、前記影響を受けるフレームも損失した場合（例えば、網上でパケットが欠落した場合など）、映像としての劣化は、既に劣化と判断されているので、損失率としては変わらないとしていた。しかし、ここでは、そのような現象の場合、必ずしも、前記影響を受けるフレームの損失は、映像の劣化に影響を与えないとするのではなく、影響を与えるとし、尚且つ、その影響についても、単純な加減算ではないとし、重みによって表現した。

なお、この例１では、劣化フレーム数（中間パラメータ）に対し劣化種別に応じた重み付けを行うようにしたが、劣化種別に応じた重み付けを事前に設定されている品質推定モデルに施すようにしてもよく、劣化種別に応じて個別に定められた品質推定モデルを作成し事前に設定しておくようにしてもよい。それぞれ方法は異なるが、何れの場合にも、「映像信号の劣化種別に応ずる中間パラメータとＭＯＳとの関係」から映像品質を求めていると言える。

〔推定例２：同一ＧＯＰ内のフレームの劣化間隔に関する情報を含む劣化フレーム数を中間パラメータとする例〕
ユーザが体感する品質は、劣化したフレーム数やその割合が同じであっても、フレーム劣化の発生の仕方によって異なる印象を与える。その印象が異なる要因の多くは、ユーザが映像の劣化現象を知覚できるか否かに関係している。例えば、１回にフレームが連続して劣化した場合（具体的な例では、１〜３００フレームある映像を評価している際に、２０〜２５番のフレームが劣化した（劣化フレーム継続長＝６）の場合）、ユーザは、映像が劣化している時間（劣化継続時間）は長く感じるが、映像の劣化現象は１回のみと知覚する。

一方、ユーザが知覚できる劣化現象（ここでは、仮に１つのフレームが劣化しても、映像の劣化を知覚できるとする）が、数回に分けて発生した場合（具体的な例では、２０，３０，５０，８０，１５５，２５０番のフレームが劣化した場合）、ユーザは、劣化継続時間は長く感じないが、１回の評価中に、複数回（この例では、６回）の劣化現象が生じたと知覚する。このような場合、前者よりも後者の現象の方が、劣化現象については、より印象が大きくなる。そこで、この例２では、フレームの劣化間隔に基づいて、重み付けを行う。

例えば、損失パターン判定手段７１３において、中間パラメータとして「同一ＧＯＰ内のフレームの劣化間隔に関する情報を含む劣化フレーム数」が決定されたとする。なお、この例では、フレームの劣化間隔に関する情報として、フレームの劣化間隔と劣化フレームの継続長が送られてくるものとする。

主観品質推定部７３には、劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図９参照）が定められ、事前に設定されている。この品質推定モデルは、同一ＧＯＰ内にフレームの劣化間隔が存在しないことを条件として、同一ＧＯＰ内の劣化フレーム数とＭＯＳとの関係を回帰式によって定式化して定めたものである。

なお、図９は、指数近似によって回帰曲線を求めているが、近似に関しては、劣化フレーム数とＭＯＳとの相関が最も高くなるようにすれば、利用する確率モデルは問わない。また、これらの関係は、数式としてモデル化するのみではなく、劣化フレーム数とＭＯＳとの関係を整理してテーブルとして記録し、それを品質推定モデルとしてもよい。

主観品質推定部７３は、損失パターン判定手段７１３から送られてくる同一ＧＯＰ内のフレームの劣化間隔に関する情報を含む劣化フレーム数を入力とし、その同一ＧＯＰ内に所定の範囲に収まるフレームの劣化間隔が存在する場合、入力された劣化フレーム数に劣化種別判定手段７２２からの劣化種別に応ずる重み付けを施し、この重み付けされた劣化フレーム数より事前に設定されている劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図９）から映像品質を求め、この映像品質をユーザ端末ＵＴで復号される映像の品質推定値（主観品質推定値）とする。

この例において、劣化フレーム数に対する重みは、次のようにして定める。同一ＧＯＰ内にフレームの劣化間隔が存在しない条件での劣化フレーム数とＭＯＳとの関係を事前に回帰式などでモデル化し（図８参照）、この回帰式から、劣化間隔が存在する場合のＭＯＳの低下量に対する劣化フレーム数の変化量を計算し、その値を重みとして利用する。

例えば、図８の場合、「同一ＧＯＰ内にフレームの劣化間隔が存在しない条件」でＭＯＳ＝３であったとし、「同一ＧＯＰ内にフレームの劣化間隔が存在する」の場合、ＭＯＳ＝２．７であったとすると、同一ＧＯＰ内にフレームの劣化間隔が存在することにより、劣化フレーム数が１０増加した時と同等の値となるため、この値を重みとする。このように、図８に示す回帰曲線の逆関数を利用しても構わないし、ここで算出した値（重み＝１０）を固定値として利用しても構わない。この例では、ここで算出した値を固定値として利用し、主観品質推定部７３に設定しておく。また、この「重み＝１０」に対し、劣化種別に応じた重み係数（もしくは、関数）を事前に作成しておき、主観品質推定部７３に設定しておく。

主観品質推定部７３は、例えば、損失パターン判定手段７１３からフレームの劣化間隔に関する情報として「フレーム劣化間隔Ａ（β≦Ａ＜γ）」と「フレーム劣化の継続長Ｂ（α≦Ｂ）」と「劣化フレーム数＝２０」が送られてきた場合、下記に示す重み付け条件に従い、「劣化フレーム数＝２０」に「重み＝１０」を加える。そして、この重み「１０」を加えた「劣化フレーム数＝２０＋１０＝３０」に劣化種別に応じた重み係数（もしくは、関数）を乗じて重み付き劣化フレーム数とし、この重み付き劣化フレーム数より事前に設定されている劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図９）から主観品質推定値を得る。

重み付け条件
「ＩＦ：劣化フレーム継続長がα以上で、なおかつ、フレームの劣化間隔がβ以上γ以下、ＴＨＥＮ：ＭＯＳの低下量から決められた１０フレームの重みをつける」
α以上：ユーザが知覚可能な劣化フレーム継続長。
β以下：劣化フレームが連続的に発生していないと知覚可能なフレーム数。
γ以上：完全に劣化現象が違うものと知覚するフレーム数（前の劣化現象に対する印象を忘れる間隔）。

図１０にこの重み付け条件に従う主観品質推定部７３における重み付け決定フローチャートを示す。主観品質推定部７３は、損失パターン判定手段７１３から同一ＧＯＰ内のフレームの劣化間隔に関する情報（フレームの劣化間隔、劣化フレームの継続長）を含む劣化フレーム数が送られてくると、図１０に示したフローチャートに従い、連続してα以上のフレームが劣化しており（ステップ１０１のＹＥＳ）、前の劣化フレームからβ以上のフレーム間隔があり（ステップ１０２のＹＥＳ）、前の劣化フレームからγ以下のフレーム間隔がある場合に（ステップ１０３のＹＥＳ）、ＭＯＳの低下量の関係から決められたＸフレームの重みを劣化フレーム数に加え（ステップ１０４）、この重みが加えられた劣化フレーム数に劣化種別に応じた重み係数を乗じる（ステップ１０５）。ステップ１０１，１０２，１０３の何れもＮＯであれば、重みを与えず、通常のフレーム劣化として、事前に設定されている劣化フレーム数とＭＯＳとの関係を示す品質推定モデル（図９）から主観品質推定値を得る（ステップ１０６）。

なお、この例２では、劣化フレーム数（中間パラメータ）に対して劣化種別に応じた重み付けを行うようにしたが、劣化種別に応じた重み付けを事前に設定されている品質推定モデルに施すようにしてもよく、劣化種別に応じて個別に品質推定モデルを作成し事前に設定しておくようにしてもよい。それぞれ方法は異なるが、何れの場合にも、「映像信号の劣化種別に応ずる中間パラメータとＭＯＳとの関係」から映像品質を求めていると言える。

〔推定例３：メディア特徴量の利用〕
推定例１、２では、映像品質推定装置７に映像品質情報測定部７２を設け、この映像品質情報測定部７２で判定した劣化種別を主観品質推定部７３へ送るようにしたが、映像品質情報測定部７２を省略した構成とすることも可能である。すなわち、主観品質推定部７３において、ネットワーク／端末品質情報解析部７１からの中間パラメータのみを使用して、主観品質を推定するような構成とすることもできる。この場合、主観品質推定部７３には、例えば次のようなステップを踏んで、品質推定モデルを設定する。

〔ステップ１〕
中間パラメータとメディア特徴量との関係を回帰式によりモデル化する。例えば、中間パラメータとして、ＴＳパケットの品質情報（例えば、パケットの損失率や損失パターン（例えば、損失間隔等を考慮した重み付き損失量）等）を適用し、中間パラメータとメディア特徴量との関係を回帰式を用いて数式化する。メディア特徴量としては、マクロブロックの劣化面積（全体のマクロブロック面積に対する劣化面積の比率でもよい）を利用する。この中間パラメータとメディア特徴量との関係を図１１に示す。そして、この２つの関係を回帰曲線を用いて数式化することで、モデル化する。例えば、次式のようになる。
メディア特徴量（マクロブロックの劣化面積）＝ｇ（中間パラメータ）＝ｇ（ＴＳパケット損失率） ・・・・（１）

〔ステップ２〕
メディア特徴量とＭＯＳとの関係を回帰式によりモデル化する。メディア特徴量としてマクロブロックの劣化面積（全体のマクロブロック面積に対する劣化面積の比率でもよい）を利用した例を図１１に示す。この２つの関係を回帰曲線を用いて数式化することで、モデル化する。例えば、次のようになる。
ＭＯＳ（ユーザ体感品質）＝ｆ（メディア特徴量）＝ｆ（マクロブロック面積） ・・・・（２）

〔ステップ３〕
式（１）でモデル化された第１の関係モデル、式（２）でモデル化された第２の関係モデルを利用して、ネットワーク／端末の品質測定によって得られる中間パラメータから映像の品質を推定するモデル（中間パラメータとＭＯＳとの関係を示す品質推定モデル）を作成する。例えば、次式のようになる。
ＭＯＳ（ユーザ体感品質）＝ｆ（ｇ（中間パラメータ））＝ｆ（ｇ（ＴＳパケット損失率）） ・・・・（３）

なお、ＴＳパケットとは、映像や音声等のメディア情報をＩＰパケット等を利用して通信する際に用いられるパケットであり、メディア情報をＴＳパケットという単位に分割して送受信される。ＴＳパケットを複数まとめてＩＰパケットに組み込み、ＩＰを利用した映像／音声通信を実現するアプリケーションが多く存在する。

図１１，図１２では、指数近似によって回帰曲線を求めているが、近似に関しては、２つのパラメータの相関が最も高くなるようにすれば、利用する確率モデルは問わない。また、これらの関係は、数式としてモデル化するのみではなく、２つのパラメータの関係を整理してテーブルとして記録し、それを品質推定モデルとしてもよい。

この中間パラメータとＭＯＳとの関係を示す品質推定モデルを主観品質推定部７３に事前に設定しておく。これにより、主観品質推定部７３は、ネットワーク／端末品質情報解析部７１から中間パラメータが送られてくると、その中間パラメータに応じた品質推定モデルから直ちに主観品質推定値を得る。この場合、実質的に、ネットワーク／端末品質情報解析部７１からの中間パラメータからメディア特徴量が推測され、この推測されたメディア特徴量に応ずる主観品質推定値が得られるものとなり、メディア特徴量を考慮した映像品質の推定が行われるものとなる。

なお、この例３では、式（１）でモデル化された第１のモデルと式（２）でモデル化された第２の関係モデルを利用して中間パラメータとＭＯＳとの関係を示す品質推定モデルを作成し、この品質推定モデルから主観品質推定値を求めるようにしたが、第１の関係モデルと第２の関係モデルを主観品質推定部７３に事前に設定しておき、第１の関係モデルに中間パラメータを入力してメディア特徴量を求めるようにし、この第１の関係モデルから求めたメディア特徴量を第２の関係モデルに入力して主観品質推定値を求めるようにしてもよい。

〔実施の形態２〕
図１３は本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態２）を示すブロック構成図である。実施の形態１ではユーザ端末ＵＴに映像品質推定装置７を設けていたが、実施の形態２では管理端末ＣＴに映像品質推定装置７’を設けている。

なお、この場合、ユーザ端末ＵＴの品質情報通信装置８’では映像信号の劣化種別の判定を行うようにし、この映像信号の劣化種別と受信した映像パケットの情報、映像配信サーバ３からの送信品質情報などを制御用パケットにより管理端末ＣＴ側の映像品質推定装置７’に送るようにする。

このようにすると、ユーザ端末ＵＴでの処理負担を軽減することができる。また、映像品質推定装置７’を管理端末ＣＴに設けることにより、主観品質の推定結果をネットワーク品質管理にすぐに役立てることができる。

〔実施の形態３〕
図１４は本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態３）を示すブロック構成図である。実施の形態１ではユーザ端末ＵＴに映像品質推定装置７を設け、管理端末ＣＴに映像品質管理装置５を設けていたが、実施の形態３では映像品質推定装置７’および映像品質管理装置５を配信端末ＤＴに設けている。この構成例はサーバでの個別ユーザ管理に有用である。

〔実施の形態４〕
図１５は本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態４）を示すブロック構成図である。この実施の形態４は、テレビ会議のような双方向映像通信サービスの品質管理を行う場合の構成例であり、ネットワーク４にはユーザ端末ＵＴ１，ＵＴ２が接続されている。

ユーザ端末ＵＴ１は、復号装置６−１と、映像品質推定装置７−１と、品質情報通信装置８−１と、映像符号化装置９−１と、送信品質情報取得／送信装置１０−１とを有している。ユーザ端末ＵＴ２は、復号装置６−２と、映像品質推定装置７−２と、品質情報通信装置８−２と、映像符号化装置９−２と、送信品質情報取得／送信装置１０−２とを有している。

映像品質推定装置７−１，７−２は、図３に示した実施の形態１の映像品質推定装置７と同構成とされており、その説明は省略する。品質情報通信装置８−２は、ユーザ端末ＵＴ２における主観品質推定値を求めると共に、求めた主観品質推定値を相手側のユーザ端末ＵＴ１に送る。

映像符号化装置９−１，９−２は、実施の形態１における映像符号化装置２に対応し、映像信号をパケット列に変換し、相手側のユーザ端末ＵＴ２，ＵＴ１へ送信する。送信品質情報取得／送信装置１０−１，１０−２は、映像符号化装置９−１，９−２から送信する映像信号のパケットに関する情報（例えば、送信パケット数やパケットヘッダ等に記載されるシーケンス番号等）を送信品質情報として取得し、この送信品質情報を制御用パケットによってユーザ端末ＵＴ２，ＵＴ１へ送る。

なお、上述した実施の形態１〜４では、映像品質管理装置５を管理端末ＣＴや配信端末ＤＴに設けるようにしたが、ユーザ端末ＵＴに組み込むようにしてもよい。映像品質管理装置５をユーザ端末ＵＴに組み込むようにすると、苦情時のユーザ端末の品質把握に素早く対応することが可能となる。

本発明に係る映像品質推定装置を含む映像配信システムの一例（実施の形態１）を示すブロック構成図である。 この映像品質推定方法における映像符号化装置の概略構成を示す図である。 この映像品質推定方法における映像品質推定装置の概略構成を示す図である。 この映像品質推定方法における映像品質管理装置の概略構成を示す図である。 パケット損失率とＭＯＳとの関係を示す図である。 劣化継続長および劣化量に基づいて算出した総劣化フレーム数とＭＯＳとの関係を示す図である。 主観品質の推定例１において主観品質推定部に事前に設定する劣化フレーム数とＭＯＳとの関係を示す図である。 ＭＯＳの低下量を説明する図である。 主観品質の推定例２において主観品質推定部に事前に設定する劣化フレーム数とＭＯＳとの関係を示す図である。 主観品質の推定例２における主観品質推定部での重み付け決定の過程を示すフローチャートである。 主観品質の推定例３において中間パラメータとしＴＳパケット損失を利用した場合の中間パラメータとＭＯＳとの関係を示す図である。 主観品質の推定例３においてメディア特徴量としてマクロブロックの劣化面積を利用した場合のメディア特徴量とＭＯＳとの関係を示す図である。 本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態２）を示すブロック構成図である。 本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態３）を示すブロック構成図である。 本発明に係る映像品質推定装置を含む映像配信システムの他の例（実施の形態４）を示すブロック構成図である。

符号の説明

１…映像入力装置、２…映像符号化装置、２１…高能率圧縮符号化部、２２…パケット変換部、２３…情報埋込部、３…映像配信サーバ、４…ネットワーク（インターネット網）、５…映像品質管理装置、５１…映像品質管理目標値テーブル、５２…映像品質判定部、６…復号装置、７…映像品質推定装置、７１…ネットワーク／端末品質情報解析部、７１１…パケット情報取得手段、７１２…映像フレーム識別手段、７１３…損失パターン判定手段、７２…映像品質情報測定部、７２１…特徴量抽出手段、７２２…劣化種別判定手段、７３…主観品質推定部、７４…品質劣化要因・品質推定値保存部、ＵＴ…ユーザ端末、ＣＴ…管理端末、ＤＴ…配信装置、Ｐ（Ｐ１，Ｐ２，Ｐ３）…映像パケット、ＵＴ１，ＵＴ２…ユーザ端末、６−１，６−２…復号装置、７−１，７−２…映像品質推定装置、８−１，８−２…品質情報通信装置、９−１，９−２…映像符号化装置、１０−１，１０−２…送信品質情報取得／送信装置。

Claims (4)

1. パケット列に変換されて送られてくる映像信号を受信し復号する復号手段と、
   少なくとも前記映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定する中間パラメータ決定手段と、
   前記復号した映像信号を解析しその映像信号の劣化種別を判定する劣化種別判定手段と、
   前記劣化種別判定手段によって判定された劣化種別に応ずる前記中間パラメータと映像品質との関係から前記中間パラメータ決定手段によって決定された中間パラメータに応ずる映像品質を推定する品質推定手段と
   を備えることを特徴とする映像品質推定装置。
2. パケット列に変換されて送られてくる映像信号を受信し復号する復号手段と、
   少なくとも前記映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定する中間パラメータ決定手段と、
   前記復号した映像信号を解析しその映像信号の劣化種別を判定する劣化種別判定手段と、
   前記中間パラメータとして同一グループ内の劣化フレーム数が決定され、その同一グループ内に重複して劣化と判断されたフレームが存在する場合、前記劣化フレーム数に前記劣化種別判定手段で判定された劣化種別に応ずる重み付けを施し、事前に設定されている劣化フレーム数と映像品質との関係から前記重み付けが施された劣化フレーム数に応ずる映像品質を求める品質推定手段と
   を備えることを特徴とする映像品質推定装置。
3. パケット列に変換されて送られてくる映像信号を受信し復号する復号手段と、
   少なくとも前記映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定する中間パラメータ決定手段と、
   前記復号した映像信号を解析しその映像信号の劣化種別を判定する劣化種別判定手段と、
   前記中間パラメータとして同一グループ内の劣化フレーム数が決定され、その同一グループ内に所定の範囲に収まるフレームの劣化間隔が存在する場合、前記劣化フレーム数に前記劣化種別判定手段で判定された劣化種別に応ずる重み付けを施し、事前に設定されている劣化フレーム数と映像品質との関係から前記重み付けが施された劣化フレーム数に応ずる映像品質を求める品質推定手段と
   を備えることを特徴とする映像品質推定装置。
4. パケット列に変換されて送られてくる映像信号を受信し復号する第１ステップと、
   少なくとも前記映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定する第２ステップと、
   前記復号した映像信号を解析しその映像信号の劣化種別を判定する第３ステップと、
   前記第３ステップで判定した劣化種別に応ずる前記中間パラメータと映像品質との関係から前記第２ステップで決定した中間パラメータに応ずる映像品質を求める第４ステップと
   を備えることを特徴とする映像品質推定方法。

Images