JP4733071B2

JP4733071B2 - 映像品質推定方法および装置

Info

Publication number: JP4733071B2
Application number: JP2007143115A
Authority: JP
Inventors: 聡子富永; 和久山岸; 孝典林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-05-30
Filing date: 2007-05-30
Publication date: 2011-07-27
Anticipated expiration: 2027-05-30
Also published as: JP2008301027A

Description

本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションでやり取りした映像に関するユーザ体感品質を推定する技術に関する。

ＩＰ網のアクセス網が広帯域化するなか、映像配信サービスやテレビ会議など映像系のサービスが普及しつつある。これらの映像アプリケーションでは、ネットワークや端末でパケットの損失や遅延が生じた場合に映像品質劣化となり、サービス品質が落ちるため、一定の映像品質を確保するようネットワークや端末の品質を管理する必要がある。このためには、例えばパケット損失や遅延などのネットワーク品質がユーザの視聴する映像品質すなわちユーザ体感品質にどのような影響を及ぼしているかをインサービス、すなわちサービス提供中に測定し、品質状態を管理する必要がある。

このような映像通信のユーザ体感品質を推定する方法として，無効パケットを検出し，無効パケットの発生した映像フレーム種別ならびにＧＯＰ（Group Of Pictures）構成から映像品質劣化の波及する無効フレーム数を算出し，全送出フレームに対する無効フレーム数の割合である無効フレーム率から映像品質を推定する方法がある（例えば、特許文献１など参照）。この方法を用いれば，パケットの損失状況だけではなくユーザが認識可能な映像フレームの劣化継続時間に対応した映像品質推定が可能となる．

特開２００６−０３３７２２号公報特許第３５７９３３４号公報特許第３７１４５５１号公報

しかしながら、このような従来技術では、無効フレーム率は測定区間における映像品質劣化が発生する時間率として求められるものの、無効パケットが複数発生した場合に画像上に劣化が重畳される重畳劣化の影響については、上記無効フレーム率で考慮されておらず、映像品質の推定誤差を生じる要因となっていた。
本発明はこのような課題を解決するためのものであり、複数発生した無効パケットに起因して同一画像上に劣化が重畳される場合でも、十分な推定精度が得られる映像品質推定方法および装置を提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定方法は、送信装置により、所定のフレーム構成情報に基づいて複数のフレームからなるフレームグループを処理単位として映像を各フレームに符号化し、これらフレームをデータパケットに格納し通信網を介して接続された受信装置へ送信する映像通信について、当該映像通信の映像品質を推定する、演算処理部と記憶部を備えた映像品質推定装置で用いられる映像品質推定方法であって、演算処理部により、データパケットのうち受信装置で正常に再生できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、演算処理部により、無効パケット情報とフレーム構成とに基づいて、フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームの数を集計する無効フレーム数算出ステップと、記憶部により、無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶する映像品質推定モデル記憶ステップと、演算処理部により、記憶部から映像品質推定モデルを読み出して、無効フレーム数算出部で算出された無効フレーム数に対応する映像品質推定値を、映像品質推定モデルに基づいて算出する映像品質推定ステップとを備え、無効フレーム数算出ステップは、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計する。

この際、記憶部により、無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶する重み付け関数記憶ステップをさらに備え、無効フレーム数算出ステップは、無効フレーム数を重み付けする場合、記憶部から重み付け関数を読み出して、当該無効パケットの無効フレーム数に対応する重み付け係数を重み付け関数により算出し、得られた重み付け係数と当該無効パケットの無効フレーム数とを積算することにより、当該無効パケットの無効フレーム数を重み付けしてもよい。
また、重み付け関数として、無効フレーム数の増加に応じて重み付け係数が単調増加する関数を用いてもよい。

また、本発明にかかる映像品質推定装置は、送信装置により、所定のフレーム構成情報に基づいて複数のフレームからなるフレームグループを処理単位として映像を各フレームに符号化し、これらフレームをデータパケットに格納し通信網を介して接続された受信装置へ送信する映像通信の映像品質を推定する映像品質推定装置であって、データパケットのうち受信装置で正常に再生できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、無効パケット情報とフレーム構成とに基づいて、フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームの数を集計する無効フレーム数算出部と、無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶する映像品質推定モデル記憶部と、この映像品質推定モデル記憶部から映像品質推定モデルを読み出して、無効フレーム数算出部で算出された無効フレーム数に対応する映像品質推定値を、映像品質推定モデルに基づいて算出する映像品質推定部とを備え、無効フレーム数算出部は、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計する。

この際、無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶する重み付け関数記憶部をさらに備え、無効フレーム数算出部で、無効フレーム数を重み付けする場合、重み付け関数記憶部から重み付け関数を読み出して、当該無効パケットの無効フレーム数に対応する重み付け係数を重み付け関数により算出し、得られた重み付け係数と当該無効パケットの無効フレーム数とを積算することにより、当該無効パケットの無効フレーム数を重み付けしてもよい。
また、重み付け関数として、無効フレーム数の増加に応じて重み付け係数が単調増加する関数を用いてもよい。

本発明によれば、無効パケット情報収集部により、データパケットのうち受信装置で正常に再生できなかった無効パケットに関する無効パケット情報が収集され、無効フレーム数算出部により、無効パケット情報とフレーム構成とに基づいて、フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームの数が集計され、映像品質推定部により、映像品質推定モデル記憶部から映像品質推定モデルが読み出されて、無効フレーム数算出部で算出された無効フレーム数に対応する映像品質推定値が、映像品質推定モデルに基づいて算出される。

そして、無効フレーム数算出部により、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計される。
したがって、無効フレーム数を算出する際、重畳劣化の映像品質に対する影響が重み付けとして考慮されるため、複数発生した無効パケットに起因して同一画像上に劣化が重畳される場合でも、十分な推定精度が得られる。

次に、本発明の実施の形態について図面を参照して説明する。
まず、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。

映像品質推定装置１は、全体としてサーバ装置やパーソナルコンピュータ、あるいは映像通信端末などのコンピュータを用いた情報処理装置からなり、送信装置により、所定のフレーム構成情報に基づいて複数のフレームからなるフレームグループを処理単位として映像を各フレームに符号化し、これらフレームをデータパケットに格納し通信網を介して接続された受信装置へ送信する映像通信の映像品質を推定する機能を有している。ここでは、映像品質推定装置１を、映像配信サーバにより実現した場合について説明する。

この映像品質推定装置１には、演算処理部１０、操作入力部１１、画面表示部１２、記憶部１３、映像データベース（以下、映像ＤＢという）１４、符号化情報データベース（以下、符号化情報ＤＢ）１５、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１６、および映像配信制御部１７、無効パケット情報収集部２１、符号化情報取得部２２、無効フレーム数算出部２３、映像品質推定部２４、重み付け関数データベース（以下、重み付け関数ＤＢという）２５、および映像品質推定モデルデータベース（以下、映像品質推定モデルＤＢという）２６が設けられている。

本実施の形態は、無効パケット情報収集部２１により、データパケットのうち受信装置２で正常に再生できなかった無効パケットに関する無効パケット情報を収集し、無効フレーム数算出部２３により、無効パケット情報とフレーム構成とに基づいて、フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームの数を集計し、映像品質推定モデルＤＢ２６により、無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶し、映像品質推定部２４により、映像品質推定モデルＤＢ２６から映像品質推定モデルを読み出して、無効フレーム数算出部２３で算出された無効フレーム数に対応する映像品質推定値を、映像品質推定モデルに基づいて算出する。

そして、無効フレーム数算出部２３で、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計するようにしたものである。

［映像品質推定装置］
次に、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置の構成について説明する。
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、予め記憶部１３に保存されているプログラム１３Ｐを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラム１３Ｐを協働させることにより各種機能処理部を実現する。前述した機能部のうち、映像配信制御部１７、無効パケット情報収集部２１、符号化情報取得部２２、無効フレーム数算出部２３、および映像品質推定部２４が、演算処理部１０で実現される機能処理部に相当する。なお、これら機能処理部については、専用の演算処理回路で実現してもよい。

操作入力部１１は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部１２は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて、操作メニューや映像品質推定結果などの各種情報を画面表示する機能を有している。

記憶部１３は、メモリやハードディスクなどの記憶装置からなり、演算処理部１０の各機能処理部で用いる各種処理情報やプログラム１３Ｐを記憶する機能を有している。プログラム１３Ｐは、通信Ｉ／Ｆ部１６を介して接続された外部装置や記録媒体から読み込まれて記憶部１３に格納される。

映像ＤＢ１４は、ハードディスクなどの記憶装置からなり、映像配信制御部１７により通信網３を介して受信装置２へ配信するための映像を予め記憶する機能を有している。
符号化情報ＤＢ１５は、ハードディスクなどの記憶装置からなり、映像配信制御部１７により映像を符号化する際に用いる各種符号化情報を記憶する機能を有している。
通信Ｉ／Ｆ部１６は、専用の通信回路からなり、通信網３を介して受信装置２などの外部装置とデータ通信を行う機能を有している。

映像配信制御部１７は、操作入力部１１で検出されたオペレータからの配信指示操作や、通信Ｉ／Ｆ部１６で受信された受信装置２からの配信要求メッセージに応じて、映像ＤＢ１４から対応する映像を読み出し、符号化情報ＤＢ１５の符号化情報に基づいて当該映像を圧縮符号化し、通信Ｉ／Ｆ部１６から通信網３を介して受信装置２へ配信する機能を有している。

ここでは、ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ勧告Ｈ．２６４などの動画符号化規格に基づくフレーム構成情報に基づいて、ＧＯＰ（Group Of Pictures）やＧＯＶ（Group Of Video）などの複数のフレームからなるフレームグループを処理単位として、映像をフレームさらにはブロックごとに圧縮符号化し、これらをＲＴＰ（Real-time Transport Protocol）などの映像通信プロトコルに基づいてデータパケットに格納して配信するものとする。

無効パケット情報収集部２１は、データパケットのうち受信装置２で正常に再生できなかった無効パケットに関する無効パケット情報を収集する機能を有している。無効パケット情報としては、映像配信制御部１７から受信装置２へ送信されたデータパケットの送信状況を示す送信側品質情報や受信装置２で受信したデータパケットの受信状況を示す受信側品質情報を、例えばＩＥＴＦ標準ＲＦＣ３６１１のＲＴＣＰ−ＸＲ（RTP control protocol extended reports）などの制御用プロトコルを用いて通信網３および通信Ｉ／Ｆ部１６を介して取得すればよい。
符号化情報取得部２２は、映像配信制御部１７で映像の圧縮符号化に用いた符号化情報を映像配信制御部１７から取得する機能を有している。

無効フレーム数算出部２３は、無効パケット情報収集部２１で収集された無効パケット情報と符号化情報取得部２２で取得された符号化情報に基づいて、データパケットのうち受信装置２で正常に再生できなかった無効パケットを判定する機能と、映像を構成する各フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームを判定する機能と、所定の測定区間における無効フレームの数を集計する機能と、無効フレーム数の集計の際、重み付け関数ＤＢ２５から読み出した重み付け関数に基づき無効フレーム数を重み付けして集計する機能とを有している。
重み付け関数ＤＢ２５は、無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶する機能を有している。

無効パケットには、通信網３で損失した損失パケット、到着の順序が逆転したパケット、および到着が遅れた遅着パケットがあり、いずれも公知の技術に基づいて判定すればよい。遅着パケットとは、直前到着パケットとの到着間隔が映像通信に用いる揺らぎ吸収バッファの許容時間を越えたパケットのことである（例えば、特許文献２など参照）。また、ゆらぎ吸収バッファの許容時間については、予めゆらぎ吸収バッファとしていくつかの値を仮定し、そのときの無効フレーム率を算出する。仮定バッファにおいての無効フレーム率と主観評価値との回帰直線を求め、相関が最も高いものを等価バッファサイズとして決定する（例えば、特許文献３など参照）。

無効フレーム数算出部２３では、各データパケットに含まれている送信順序を示すシーケンス番号やタイムスタンプを用いて、損失パケットや到着順序逆転パケットを判定する。また、遅着パケットについては、当該映像通信で用いる等価バッファサイズより、パケットの到着間隔が大きいパケットを遅着パケットとして判定する。等価バッファサイズについては、映像通信アプリケーションや通信帯域により異なるので、予め求めておくことが望ましい。なお、映像配信サービスなど、受信側において受信バッファが大きく設定されているような場合、パケットが遅れて到着することにより廃棄される可能性が低いので、遅着パケットを算出する必要がない場合もある。

また、無効フレーム数算出部２３では、無効パケットの発生したフレームのフレーム種別を求める場合、当該映像通信の符号化方式により、パケットヘッダーもしくはペイロード部分のフレーム種別記述位置を参照すればよい。この際、順序逆転パケットおよび遅着パケットについては、当該パケットが存在するのでそのパケットからフレーム種別を直接求めることができるが、損失パケットは当該パケットが存在しないためフレーム種別を直接求めることはできない。したがって、損失パケットのフレーム種別は、損失パケットの前後のパケットより推測すればよい。

映像品質推定部２４は、映像品質推定モデルＤＢ２６から映像品質推定モデルを読み出す機能と、無効フレーム数算出部２３で算出された無効フレーム数に対応する映像品質推定値を、映像品質推定モデルに基づいて算出する機能とを有している。
映像品質推定モデルＤＢ２６は、無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶する機能を有している。

［映像劣化の重畳］
次に、図２を参照して、映像劣化の重畳について説明する。図２は、無効パケットによるフレーム劣化の重畳を示す説明図である。
映像通信において、フレーム間における圧縮符号化方式を用いた場合、異なる無効パケットによる映像劣化の影響が同一フレームへ重畳する場合がある。

図２に示すように、ＭＰＥＧ規格に基づいて、１ＧＯＰあたりのフレーム（ピクチャ）数Ｎ＝１５で、ＩフレームもしくはＰフレーム（ピクチャ）間隔Ｍ＝３であるＧＯＰ構成を用いた場合、最初のフレームＦ１のＩフレーム（ピクチャ）、続く２つのフレームＦ２，Ｆ３のＢフレーム（ピクチャ）で１つのサブグループを構成し、その後、１つのＰフレーム（ピクチャ）と２つのＢフレームからなるサブグループが、フレームＦ４〜Ｆ１５まで繰り返される。
このようなＧＯＰ構成において、フレームＦ４で無効パケットが発生した場合、受信側においてＢフレームは前後のＩフレームまたはＰフレームを参照して復号されるとともにＰフレームは直前のＩフレームまたはＰフレームを参照して復号されるため、フレームＦ４の無効パケットによる映像劣化の影響は、フレームＦ２〜Ｆ１５に及ぶ。この際、Ｘ（ｉ）を同一ＧＯＰ内でｉ番目に発生した無効パケット数の無効フレーム数とすると、最初（ｉ＝１）に発生したフレームＦ４の無効パケットについて、その無効フレーム数はＸ（１）＝１４となる。

同様にして、フレームＦ８，Ｆ１３，Ｆ１４で無効パケットが発生した場合、これら無効パケットによる映像劣化の影響は、それぞれフレームＦ８のみ、フレームＦ１１〜Ｆ１５、フレーム１４のみとなり、それぞれの無効フレーム数はＸ（２）＝１，Ｘ（３）＝５，Ｘ（４）＝１となる。
したがって、フレームＦ８ではフレームＦ４とフレームＦ８の無効パケットによる２つの映像劣化が時間軸上で重畳し、フレームＦ１１〜Ｆ１３，Ｆ１５ではフレームＦ４とフレームＦ１３の無効パケットによる２つの映像劣化が重畳し、フレームＦ１４ではフレームＦ４、Ｆ１３、Ｆ１４の無効パケットによる３つの映像劣化が重畳することになる。

このように、映像劣化が同一フレームに重畳した場合、ユーザが感じる映像劣化の度合いは、重畳劣化していないフレームと比較してより顕著となる傾向がある。無効フレーム数として、重畳劣化を考慮せず、各無効パケットによる映像劣化の影響が及ぶ無効フレームの数を単に集計した場合、全ての無効フレームにおいて重畳劣化が発生していない状況における映像品質を推定することになるため、実際にユーザが感じる映像品質と誤差が生じる。

［無効フレーム数の重み付け処理］
本実施の形態では、無効フレーム数算出部２３において、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が同一フレームへ重畳して及んでいる場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計している。
これにより、重畳劣化の映像品質に対する影響が考慮されるため、無効パケットが複数発生した場合に画像上に劣化が重畳される場合でも、映像品質について十分な推定精度が得られる。

無効フレーム数算出部２３における無効フレーム数の算出処理としては、符号化情報取得部２２で取得された符号化情報のＧＯＰ構成に基づいて、無効パケットごとに無効フレーム数Ｘを計数し、重み付け関数ＤＢ２５から読み出した重み付け関数に基づき無効フレーム数を重み付けして集計する。なお、ＧＯＰ構成が異なれば劣化の影響度合いも異なることから、ＧＯＰごとに重み付け関数を特定する必要がある。

図３は、重み付け関数例を示す説明図である。重み付け関数は、ユーザに対する劣化の影響度合いを調整するためのものであることから、ＧＯＰ構成やフレームレートなどの映像通信パラメータごとに予め用意されて重み付け関数ＤＢ２５に格納されている。一般に、無効フレーム数の増大に応じて映像劣化の増分幅が抑制されるというユーザの視覚特性があり、重み付け関数は、このような視覚特性を考慮し、例えば２次関数など、無効フレーム数の増加に応じて重み付け係数が単調増加する関数から構成される。

ＧＯＰ内で無効パケットが複数回発生した場合であっても、これら無効フレームが任意のフレームで重畳しない場合、無効フレーム数に対する重みは常に１、すなわち計数した無効フレーム数のままである。また、ＧＯＰ内の最初のフレームＩもしくはＰフレームに無効パケットが発生した場合も、無効フレーム数に対する重みは１である。同一フレームで劣化が重畳する場合のみ、重畳された無効フレームが次式で重み付けされる。したがって、任意の無効パケットの影響を受けた無効フレームの無効フレーム数Ｘに対する重み付け関数ｆ（Ｘ）は、次のようになる。

［ケース１］ＧＯＰ内の無効パケットの発生回数が１の場合、もしくは複数の無効パケットが同一のフレームで発生した場合、もしくはＧＯＰ内の複数の無効パケットによる映像劣化が任意のフレームで重畳していない場合、重み付け関数ｆ（Ｘ）は次の式（１）で与えられる。
ｆ（Ｘ）＝１ …（１）

［ケース２］ＧＯＰ内で複数の無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合、ａ，ｂを係数とすると、重み付け関数ｆ（Ｘ）は次の式（２）および式（３）で与えられる。
０＜ｆ（Ｘ）＜１ …（２）
ｆ（Ｘ）＝ａ・（Ｘ／ｂ）² …（３）

図２に示したように、例えばＭ＝３，Ｎ＝１５のＧＯＰ構成の場合、無効フレーム数がとりうる値としては、１４，１１，８，５，１のいずれかである。係数ａについては、予め映像通信の主観評価実験を行って求めることができる。係数ｂについては、例えばＭ＝３，Ｎ＝１５のＧＯＰ構成の場合、Ｉの無効フレーム数１７を用いてもよい。
このようにして与えられた重み付け関数ｆ（Ｘ）について、無効パケットごとに計数された無効フレーム数Ｘを入力値とすれば、その出力値ｆ（Ｘ）として重み付け係数が得られる。

例えば、測定区間内にＧ１〜Ｇｍからなるｍ個（ｍは正数）のＧＯＰが存在し、任意のＧｊ（ｊ＝１〜ｍの正数）において、Ｐ１〜Ｐｎからなるｎ個（ｎは正数）の無効パケットが発生した場合、無効フレーム数算出部２３では、無効パケットＰｉ（ｉ＝１〜ｎの正数）ごとに無効フレーム数Ｘｉを計数する。
そして、当該ケースの重み付け関数ｆ（Ｘ）に基づき重み付け係数ｆ（Ｘｉ）を求め、得られた重み付け係数ｆ（Ｘｉ）を当該無効フレーム数Ｘに積算することにより重み付けを行い、得られた重み付け無効フレーム数Ｘ・ｆ（Ｘ）を集計することにより、Ｇｊの無効フレーム数を算出する。

したがって、Ｇｊの無効フレーム数Ｄｊは、次の式（４）で表すことができ、当該測定区間における無効フレーム数Ｄは、次の式（５）で表すことができる。

［本実施の形態の動作］
次に、図４を参照して、本発明の一実施の形態にかかる映像品質推定装置の動作について説明する。図４は、本発明の一実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１の演算処理部１０は、操作入力部１１や通信Ｉ／Ｆ部１６で検出された処理開始指示、あるいは演算処理部１０内の計時部（図示せず）による処理開始時点の到来に応じて、図４の映像品質推定処理を開始する。ここでは、映像フレームのグループがＧＯＰ構成で規定される場合を例として説明する。

演算処理部１０は、まず、符号化情報取得部２２により、評価対象となる映像通信に関する符号化情報を映像配信制御部１７から取得する（ステップ１００）。
また、演算処理部１０は、無効パケット情報収集部２１により、所定の測定区間内における無効パケット発生情報を通信Ｉ／Ｆ部１６から収集する（ステップ１０１）。

次に、演算処理部１０は、無効フレーム数算出部２３により、符号化情報取得部２２で取得した符号化情報に含まれる当該映像通信のＧＯＰ構成に基づいて、所定の測定区間内から任意のＧＯＰ（Ｇｊ）を選択し、当該ＧＯＰ内に複数の無効パケットが発生しているか、無効パケット発生情報に基づいて判定する（ステップ１０２）。
ここで、当該ＧＯＰ内に複数の無効パケットが発生している場合（ステップ１０２：ＹＥＳ）、当該ＧＯＰ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が当該ＧＯＰ内の任意のフレームで重畳しているか判定する（ステップ１０３）。

ここで、当該ＧＯＰ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が当該ＧＯＰ内の任意のフレームで重畳している場合（ステップ１０３：ＹＥＳ）、無効フレーム数算出部２３は、符号化情報取得部２２で取得した符号化情報に含まれる当該映像通信のＧＯＰ構成およびフレームレートに対応する重み付け関数を重み付け関数ＤＢ２５から読み出し、この重み付け関数に基づいて無効パケットＰｉごとの無効フレーム数Ｘｉに対応する重み付け係数ｆ（Ｘｉ）を算出する。

そして、無効フレーム数算出部２３は、この重み付け係数ｆ（Ｘｉ）を当該無効フレーム数Ｘｉに積算することにより重み付け無効フレーム数を算出し、無効パケットごとに得られた重み付け無効フレーム数を集計することにより、当該ＧＯＰ（Ｇｊ）の無効フレーム数Ｄｊを算出する（ステップ１０４）。

一方、ステップ１０２において、当該ＧＯＰ内に複数の無効パケットが発生していない場合（ステップ１０２：ＮＯ）、およびステップ１０３において、当該ＧＯＰ内の異なるフレームでそれぞれ無効パケットが発生していない場合、あるいはこれら無効パケットの影響が当該ＧＯＰ内の任意のフレームで重畳していない場合（ステップ１０３：ＮＯ）、無効フレーム数算出部２３は、これら無効パケットＰｉごとの無効フレーム数Ｘｉを集計することにより、当該ＧＯＰ（Ｇｊ）の無効フレーム数Ｄｊを算出する（ステップ１０５）。

このようにして、無効フレーム数算出部２３は、測定区間内の任意のＧＯＰ（Ｇｊ）に関する無効フレーム数Ｄｊを算出し、得られた無効フレーム数Ｄｊを測定区間全体の無効フレーム数Ｄに加算する（ステップ１０６）。
演算処理部１０は、測定区間内の全ＧＯＰに関する無効フレーム数の集計が完了していない場合は（ステップ１０７：ＮＯ）、ステップ１０２に戻って未処理のＧＯＰに関する処理を繰り返し実行する。

一方、全ＧＯＰに関する無効フレーム数の集計が完了した場合（ステップ１０７：ＹＥＳ）、演算処理部１０は、映像品質推定部２４により、符号化情報取得部２２で取得した符号化情報に含まれる当該映像通信の符号化方式と通信帯域に対応する映像品質推定モデルを読み出し（ステップ１０８）、測定区間全体の無効フレーム数Ｄに対応する映像品質値を算出し、測定区間における映像品質推定値として画面表示部１２または記憶部１３へ出力し（ステップ１０９）、一連の映像品質推定にかかわる処理を終了する。

［本実施の形態の効果］
このように、本実施の形態は、無効パケット情報収集部２１により、データパケットのうち受信装置２で正常に再生できなかった無効パケットに関する無効パケット情報を収集し、無効フレーム数算出部２３により、無効パケット情報とフレーム構成とに基づいて、フレームのうち無効パケットの影響により受信装置で正常に復号できなかった無効フレームの数を集計し、映像品質推定モデルＤＢ２６により、無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶し、映像品質推定部２４により、映像品質推定モデルＤＢ２６から映像品質推定モデルを読み出して、無効フレーム数算出部２３で算出された無効フレーム数に対応する映像品質推定値を、映像品質推定モデルに基づいて算出している。

そして、無効フレーム数算出部２３で、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計している。
したがって、無効フレーム数を算出する際、重畳劣化の映像品質に対する影響が重み付けとして考慮されるため、複数発生した無効パケットに起因して同一画像上に劣化が重畳される場合でも、映像品質について十分な推定精度が得られる。

また、本実施の形態では、重み付け関数ＤＢ２５により、無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶し、無効フレーム数算出部２３により、無効フレーム数を重み付けする場合、重み付け関数ＤＢ２５から重み付け関数を読み出して、当該無効パケットの無効フレーム数に対応する重み付け係数を重み付け関数により算出し、得られた重み付け係数と当該無効パケットの無効フレーム数とを積算することにより、当該無効パケットの無効フレーム数を重み付けするようにしたので、無効フレーム数の大きさに応じて変化する重み付け係数で無効フレーム数を容易に重み付けすることができる。

また、本実施の形態では、重み付け関数として、無効フレーム数の増加に応じて重み付け係数が単調増加する関数を用いるようにしたので、無効フレーム数の増大に応じて映像劣化の増分幅が抑制されるというユーザの視覚特性に応じて、無効フレーム数の重み付けを行うことができ、映像品質の推定精度を向上させることができる。

［実施の形態の拡張］
以上の説明では、映像配信サービスを例として説明したが、これに限定されるものではなく、双方向映像通信サービスにおいても適用可能である。この場合、映像品質推定方法を実現するための機能部として、無効パケット情報収集部２１、符号化情報取得部２２、無効フレーム数算出部２３、映像品質推定部２４、重み付け関数ＤＢ２５、および映像品質推定モデルＤＢ２６を、双方向映像通信クライアント端末の内部に設け、あるいは外部に独立して設ければよい。

また、以上の説明では、ＲＴＣＰ−ＸＲを利用して送受信端末間で情報をやり取りし、収集した情報を元に映像品質推定を、映像配信サーバや送信端末などの送信装置内部で行う場合を例に説明したが、これに限定されるものではない。例えば、送受信装置とは別個に、前述した映像品質推定方法を実現するための各機能部を備える映像品質推定端末もしくは映像品質管理端末を設置し、送受信装置またはこれら送受信装置と通信網３との接続回線から取得した情報に基づき映像品質推定を行ってもよい。

本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。無効パケットによるフレーム劣化の重畳を示す説明図である。重み付け関数例を示す説明図である。本発明の一実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。

符号の説明

１…映像品質推定装置（映像配信サーバ）、１０…演算処理部、１１…操作入力部、１２…画面表示部、１３…記憶部、１３Ｐ…プログラム、１４…映像ＤＢ、１５…符号化情報ＤＢ、１６…通信Ｉ／Ｆ部、２１…無効パケット情報収集部、２２…符号化情報取得部、２３…無効フレーム数算出部、２４…映像品質推定部、２５…重み付け関数ＤＢ、２６…映像品質推定モデルＤＢ、３…受信装置、４…通信網。

Claims

送信装置により、所定のフレーム構成情報に基づいて複数のフレームからなるフレームグループを処理単位として映像を各フレームに符号化し、これらフレームをデータパケットに格納し通信網を介して接続された受信装置へ送信する映像通信について、当該映像通信の映像品質を推定する、演算処理部と記憶部とを備えた映像品質推定装置で用いられる映像品質推定方法であって、
前記演算処理部により、前記データパケットのうち前記受信装置で正常に再生できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
前記演算処理部により、前記無効パケット情報と前記フレーム構成とに基づいて、前記フレームのうち前記無効パケットの影響により前記受信装置で正常に復号できなかった無効フレームの数を集計する無効フレーム数算出ステップと、
前記記憶部により、前記無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶する映像品質推定モデル記憶ステップと、
前記演算処理部により、前記記憶部から映像品質推定モデルを読み出して、前記無効フレーム数算出部で算出された無効フレーム数に対応する映像品質推定値を、前記映像品質推定モデルに基づいて算出する映像品質推定ステップと
を備え、
前記無効フレーム数算出ステップは、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計する
ことを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記記憶部により、無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶する重み付け関数記憶ステップをさらに備え、
前記無効フレーム数算出ステップは、前記無効フレーム数を重み付けする場合、前記記憶部から重み付け関数を読み出して、当該無効パケットの無効フレーム数に対応する重み付け係数を前記重み付け関数により算出し、得られた重み付け係数と当該無効パケットの無効フレーム数とを積算することにより、当該無効パケットの無効フレーム数を重み付けする
ことを特徴とする映像品質推定方法。
請求項２に記載の映像品質推定方法において、
前記重み付け関数は、無効フレーム数の増加に応じて重み付け係数が単調増加する関数からなることを特徴とする映像品質推定方法。
送信装置により、所定のフレーム構成情報に基づいて複数のフレームからなるフレームグループを処理単位として映像を各フレームに符号化し、これらフレームをデータパケットに格納し通信網を介して接続された受信装置へ送信する映像通信の映像品質を推定する映像品質推定装置であって、
前記データパケットのうち前記受信装置で正常に再生できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、
前記無効パケット情報と前記フレーム構成とに基づいて、前記フレームのうち前記無効パケットの影響により前記受信装置で正常に復号できなかった無効フレームの数を集計する無効フレーム数算出部と、
前記無効フレーム数と映像品質値との関係を示す映像品質推定モデルを予め記憶する映像品質推定モデル記憶部と、
この映像品質推定モデル記憶部から映像品質推定モデルを読み出して、前記無効フレーム数算出部で算出された無効フレーム数に対応する映像品質推定値を、前記映像品質推定モデルに基づいて算出する映像品質推定部と
を備え、
前記無効フレーム数算出部は、同一フレームグループ内の異なるフレームでそれぞれ無効パケットが発生し、かつこれら無効パケットの影響が任意のフレームで重畳している場合は、これら無効パケットごとに、対応する無効フレーム数を所定の重み付け係数で重み付けして集計する
ことを特徴とする映像品質推定装置。
請求項４に記載の映像品質推定装置において、
無効フレーム数と重み付け係数の対応関係を示す重み付け関数を予め記憶する重み付け関数記憶部をさらに備え、
前記無効フレーム数算出部は、前記無効フレーム数を重み付けする場合、前記重み付け関数記憶部から重み付け関数を読み出して、当該無効パケットの無効フレーム数に対応する重み付け係数を前記重み付け関数により算出し、得られた重み付け係数と当該無効パケットの無効フレーム数とを積算することにより、当該無効パケットの無効フレーム数を重み付けする
ことを特徴とする映像品質推定装置。
請求項５に記載の映像品質推定装置において、
前記重み付け関数は、無効フレーム数の増加に応じて重み付け係数が単調増加する関数からなることを特徴とする映像品質推定装置。