JPWO2010032334A1 - 品質指標値算出方法、情報処理装置、動画配信システムおよび記録媒体 - Google Patents

Abstract

人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができる品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムを提供することを課題とする。動画データを構成する各フレームのブロック歪度やエッジの鮮明度などの品質指標値Ｓ´と、パケットエラー等が発生したエラー領域の割合であるエラー領域割合Ｑと、動画データに本来用いられる色との差異の度合である画素差分度Ｎとを算出し、算出した品質指標値Ｓ´と、エラー領域割合Ｑと、画素差分度Ｎとに基づいて品質指標値Ｓを算出することにより、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することを実現する。

Description

本発明は、品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムに関する。

従来、動画データをユーザ端末に配信する動画配信システムが利用されている。動画配信システムにおいて、動画データを配信する配信サーバは、動画データを符号化（エンコード）することにより、ビットストリームデータを生成する。そして、配信サーバは、生成したビットストリームデータを、ネットワークを介してユーザ端末へ送信する。ユーザ端末は、受信したビットストリームデータを復号化（デコード）することにより動画データを復元する。

このような動画配信システムでは、配信サーバがフレーム間予測などの技術を用いて動画データを圧縮符号化するために、ユーザ端末が動画データを完全に復元できないことがある。かかる場合、ユーザ端末によって復号化される動画データの品質は劣化する。近年では、このようなユーザ端末が保持する動画データの劣化度合を評価するために、動画データの品質を示す指標値（以下、「品質指標値」という）を算出することがある。

動画データの品質指標値を算出する手法として、例えば、ＮＲ（Non Reference）法や、ＲＲ（Reduced Reference）法が知られている。ＮＲ法は、ユーザ端末によって復号化された動画データ（以下、「受信動画像」という）のブロック歪度（ブロック境界の断層）や、ボケ度（Ｓｏｂｅｌフィルタなどにより検出したエッジの累計値）などを品質指標値として算出する手法である。ＲＲ法は、配信サーバが保持する動画データ（以下、「送信動画像」という）の特徴量と、ユーザ端末が保持する受信動画像の特徴量とを比較することで品質指標値を算出する手法である。

特表２００２−５２８００８号公報 特開２００６−０３３７２２号公報 特開２００１−２７５１３６号公報

ところで、動画配信システムでは、ビットストリームデータの伝送中にパケットロスが発生したり、ビットエラーが発生したりする場合がある。かかる場合、ユーザ端末によって復号化された動画データは、局所的に劣化する。局所的に劣化した動画データを人間が見た場合、品質（画質など）が著しく低下していると感じる。しかしながら、上述した動画データの品質評価手法には、動画データが局所的に劣化した場合であっても、人間が視覚的に感じる品質と異なる品質を示す品質指標値を算出するという問題があった。これは、ＮＲ法によって算出される品質指標値は、あくまでブロック歪度やボケ度などに基づいた客観的な品質を示すに過ぎないからである。

かかる問題点について、図１１を用いて具体的に説明する。図１１に示したフレームＦ１０は、送信動画像を構成する所定のフレームである。また、図１１に示したフレームＦ１１およびＦ１２は、配信サーバによって符号化されたフレームＦ１０がユーザ端末によって復号化されたフレームである。図１１に示した例において、フレームＦ１１は、ユーザ端末がフレームＦ１０を完全に復元できなかったために、全体的に品質が劣化している。具体的には、フレームＦ１１は、フレームＦ１０と比較して、ブロック歪度が大きかったり、エッジが不鮮明であったりする。一方、フレームＦ１２は、全体的に品質が劣化しており、さらに、パケットロス等によって領域Ｆ１２ａが局所的に劣化している。

このようなフレームＦ１１およびＦ１２の品質指標値をＮＲ法によって算出する場合、フレームＦ１１の品質指標値と、フレームＦ１２の品質指標値とがほぼ同一の値になる場合がある。しかし、人間が視覚的に感じる品質は、フレームＦ１１よりもフレームＦ１２の方が極めて悪い。このように、従来のＦＲ法によって算出される品質指標値は、パケットロス等によって動画データが局所的に劣化した場合に、人間が視覚的に感じる品質と異なる品質を示す場合があった。

上述した問題点は、ＲＲ法においても同様に発生していた。ＲＲ法は、送信動画像の特徴量を用いるため、ＮＲ法よりも精度の高い品質指標値を算出できるが、動画データが著しく劣化した場合には、やはり、上記問題があった。

なお、動画データの品質指標値を算出する手法には、ＦＲ（Full Reference）法と呼ばれる手法もあるが、ＦＲ法は、送信動画像と、受信動画像とを画素同士で比較するため、配信サーバと、ユーザ端末が物理的に離れている場合には用いることができなかった。

開示の技術は、上述した従来技術による問題点を解消するためになされたものであり、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができる品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本願に開示する品質指標値算出方法は、動画データの品質を算出する情報処理装置による品質指標値算出方法であって、前記情報処理装置が、パケットに分割された動画データを受信する受信工程と、前記受信工程によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化工程と、前記受信工程によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出工程と、前記復号化工程によって復号化されたフレームの領域のうち、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定工程と、前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程とを含んだことを要件とする。

なお、本願に開示する品質指標値算出方法の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。

本願に開示した品質指標値算出方法によれば、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができるという効果を奏する。

図１は、実施例１に係る情報処理装置を含む動画配信システムを示す図である。 図２−１は、Ｉフレームの品質指標値を算出する処理を説明するための図である。 図２−２は、ＰフレームまたはＢフレームの品質指標値を算出する処理を説明するための図である。 図３は、実施例１に係る情報処理装置の構成を示す図である。 図４は、実施例１に係る情報処理装置による品質指標値算出処理手順を示すフローチャートである。 図５は、実施例２に係る動画配信システムを示す図である。 図６は、図５に示した情報処理装置の構成を示す図である。 図７は、図５に示した品質管理装置の構成を示す図である。 図８は、図５に示した品質管理装置による品質判定処理手順を示すフローチャートである。 図９は、品質指標値算出プログラムを実行するコンピュータを示す図である。 図１０は、品質判定プログラムを実行するコンピュータを示す図である。 図１１は、従来技術を説明するための図である。

符号の説明

１、２ 動画配信システム
１０ 配信サーバ
２０ ネットワーク網
１００、１００ａ〜１００ｎ 情報処理装置
１１０ Ｉ／Ｆ
１２０、２２０ 制御部
１２１ 復号化部
１２２ 情報取得部
１２３ 品質指標値算出部
１２４ エラー領域特定部
１２５ 画素差分算出部
１２６ エラー拡散領域推定部
１２７ 品質指標値補正部
２００、２００ａ〜２００ｎ 情報処理装置
２２８ 送信部
３００ 品質管理装置
３１０ Ｉ／Ｆ
３２０ 記憶部
３２１ 品質関連情報記憶部
３２２ ログ情報記憶部
３３０ 制御部
３３１ 受信部
３３２ 基準値決定部
３３３ 品質判定部
３３４ ログ出力部
１０００、２０００ コンピュータ
１０１０、２０１０ ＣＰＵ
１０２０、２０２０ 入力装置
１０３０、２０３０ モニタ
１０４０、２０４０ 媒体読取り装置
１０５０、２０５０ ネットワークインターフェース装置
１０６０、２０６０ ＲＡＭ
１０６１ 品質指標値算出プロセス
１０７０、２０７０ ハードディスク装置
１０７１ 品質指標値算出プログラム
１０８０、２０８０ バス
２０６１ 品質判定プロセス
２０７１ 品質判定プログラム
２０７２ 品質関連データ
２０７３ ログファイル

以下に、本願に開示する品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本願に開示する品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムが限定されるものではない。

まず、実施例１に係る情報処理装置１００を含む動画配信システム１について説明する。図１は、実施例１に係る情報処理装置１００を含む動画配信システム１を示す図である。図１に示すように、動画配信システム１は、動画データを配信する配信サーバ１０と、ネットワーク網２０を介して動画データを受信する情報処理装置１００ａ〜１００ｎとを含む。なお、以下の説明では、情報処理装置１００ａ〜１００ｎについて、いずれかを特定する必要がない場合には、これらを総称して情報処理装置１００と表記するものとする。

配信サーバ１０は、動画データを保持しており、かかる動画データをネットワーク網２０を介して情報処理装置１００へ配信する。具体的には、配信サーバ１０は、動画データを符号化してビットストリームデータを生成し、生成したビットストリームデータを所定のサイズのパケットに分割してネットワーク網２０へ送信する。

情報処理装置１００は、配信サーバ１０から配信されるビットストリームデータを受信し、受信したビットストリームデータを所定の表示部に表示制御したりする。具体的には、情報処理装置１００は、配信サーバ１０から受信したビットストリームデータを復号化して、復号化した動画データを所定の記憶部に格納したり、所定の表示部に表示制御したりする。

このような動画配信システム１において、情報処理装置１００によって復号化された動画データ（受信動画像）の品質は、配信サーバ１０が保持する動画データ（送信動画像）の品質と比較して、劣化している場合がある。具体的には、受信動画像は、送信動画像よりもブロック歪度が大きかったり、エッジが不鮮明であったり、画像の一部分が欠落したりする場合がある。このように受信動画像の品質が劣化する理由の１つとして、配信サーバ１０がフレーム間予測やイントラ予測などにより動画データを圧縮符号化するために、情報処理装置１００が送信動画像を完全に復元できないことがある。また、受信動画像の品質が劣化する他の理由として、ビットストリームデータの伝送中にパケットロスが発生したり、ビットストリームデータにビットエラーが発生したりすることがある。

実施例１に係る情報処理装置１００は、上述したような受信動画像の品質を示す品質指標値をフレームごとに算出する。特に、情報処理装置１００は、客観的な品質指標値だけでなく、人間が視覚的に感じる品質とほぼ同様の品質を示す品質指標値を算出する。図２−１および図２−２を用いて、情報処理装置１００による品質指標値算出処理について具体的に説明する。なお、以下では、フレーム間予測を用いずに符号化されたＩ（Intra coded Frame）フレームの品質指標値を算出する処理と、フレーム間予測を用いて符号化されたＰ（Predicted Frame）フレームまたはＢ（Bi directional Predicted Frame）フレームの品質指標値を算出する処理とを分けて説明する。

図２−１は、Ｉフレームの品質指標値を算出する処理を説明するための図である。図２−１に示したフレームＦ２１は、フロック歪度が大きくなったり、エッジが不鮮明になったりしているため、画質が全体的に劣化している。また、フレームＦ２１は、パケットロス等によってフレームＦ２１の領域Ｆ２１ａが局所的に劣化している。

情報処理装置１００は、このようなフレームＦ２１の品質指標値Ｓを算出する場合、まず、従来のＮＲ法と同様の手法によりフレームＦ２１の品質指標値Ｓ´を算出する。具体的には、情報処理装置１００は、品質指標値Ｓ´として、フレームＦ２１のブロック歪度や、エッジの累計値などを算出する。算出された品質指標値Ｓ´は、値が小さいほど品質が高いことを示し、値が大きいほど品質が低いことを示す。

算出された品質指標値Ｓ´は、ブロック歪度やエッジの累計値などに基づいた指標値であるため、画像の一部分が局所的に劣化しているか否かに関わらず、大きく変化することはない。しかし、人間が視覚的に感じる品質は、画像の一部分が局所的に劣化しているか否かによって大きく異なる。例えば、領域Ｆ２１ａが局所的に劣化していない場合と比較して、領域Ｆ２１ａが局所的に劣化している場合、人間は、フレームＦ２１の品質が極めて劣化していると感じる。

そこで、情報処理装置１００は、パケットロス等によって局所的に劣化している領域を特定し、品質指標値Ｓ´を補正することで、人間が視覚的に感じる品質とほぼ同様の品質を示す品質指標値Ｓを算出する。具体的には、情報処理装置１００は、フレームＦ２１を復号化する処理において、フレームＦ２１を構成する複数のパケットのうち、欠落しているパケットが存在する否かを判定するとともに、ビットエラーが発生しているパケットが存在するか否かを判定する。

そして、情報処理装置１００は、欠落しているパケットに対応する領域、および、ビットエラーが発生しているパケットに対応する領域を、局所的に劣化している領域に特定する。図２−１に示した例では、情報処理装置１００は、領域Ｆ２１ａを局所的に劣化している領域に特定する。なお、以下では、情報処理装置１００によって局所的に劣化していると特定された領域を「エラー領域」と呼ぶこととする。

続いて、情報処理装置１００は、フレームＦ２１の全体領域のうち、エラー領域が占める割合（以下、「エラー領域割合」という）Ｑを算出する。具体的には、情報処理装置１００は、エラー領域のサイズを、フレームＦ２１のサイズによって除算した値をエラー領域割合Ｑとして算出する。算出されたエラー領域割合Ｑは、「０．０〜１．０」の値を取り、値が大きいほど品質が劣化していることを示す。

例えば、フレームＦ２１のサイズが「３００」であり、エラー領域のサイズが「６０」である場合、情報処理装置１００は、エラー領域割合Ｑとして、６０／３００＝０．２を算出する。また、例えば、フレームＦ２１のサイズが「３００」であり、エラー領域のサイズが「１２０」である場合、情報処理装置１００は、エラー領域割合Ｑとして、１２０／３００＝０．４を算出する。

また、情報処理装置１００は、エラー領域に用いられている色と、フレームＦ２１に本来用いられる色との差異の度合（以下、「画素差分度」という）Ｎを算出する。なお、本明細書では、画像に用いられる色情報を、Ｙ（輝度信号）成分、Ｕ（色差信号）成分、Ｖ（色差信号）成分によって表すものとする。かかるＹ成分、Ｕ成分、Ｖ成分は、それぞれ８ビット（０〜２５５）の数値を取り得る。

ここで、画素差分度を算出する理由について説明する。例えば、フレームＦ２１が自然画である場合、フレームＦ２１に用いられるＵ成分およびＶ成分は、概ね７０〜１３０の値を取ることが知られている。これは、値が７０〜１３０以外であるＵ成分またはＶ成分は、人工色や蛍光色を示し、自然界には存在しない色だからである。このように動画データの種類（自然画、アニメーションなど）によって、動画データに用いられる色が概ね決定されることがある。このような場合、動画データに用いられている色が、本来用いられる色と大きく異なるほど、品質が劣化しているといえる。

そこで、情報処理装置１００は、エラー領域に用いられている色が、フレームＦ２１に本来用いられる色とどの程度異なるかを算出する。具体的には、情報処理装置１００は、まず、エラー領域の各画素におけるＹ成分の平均値、Ｕ成分の平均値、Ｖ成分の平均値を算出する。そして、情報処理装置１００は、算出したＹ成分の平均値、Ｕ成分の平均値、Ｖ成分の平均値と、所定の閾値の範囲（以下、「画像特性閾値」という）とに基づいて、画素差分度Ｎを算出する。算出された画素差分度Ｎは、「０．０〜１．０」の値を取り、値が大きいほど品質が劣化していることを示す。なお、以下では、エラー領域の各画素におけるＹ成分の平均値、Ｕ成分の平均値、Ｖ成分の平均値を総称して画像特性Ｃと表記することがある。

上述した自然画の例を用いて説明すると、画像特性閾値は、Ｙ成分が「０〜２５５」であり、Ｕ成分およびＶ成分が「７０〜１３０」である色空間になる。情報処理装置１００は、画像特性Ｃを算出し、色空間における画像特性閾値と画像特性Ｃとの最短距離を算出する。そして、情報処理装置１００は、算出した最短距離を所定の代表値によって除算することにより画素差分度Ｎを算出する。ここでいう「所定の代表値」とは、色空間において画像特性閾値との差分が最も大きくなる値である。例えば、代表値が「１００」であり、色空間における画像特性閾値と画像特性Ｃとの最短距離が「１０」である場合、情報処理装置１００は、画素差分度Ｎとして、１０／１００＝０．１を算出する。

続いて、情報処理装置１００は、品質指標値Ｓ´、エラー領域割合Ｑおよび画素差分度Ｎに基づいて、品質指標値Ｓを算出する。具体的には、情報処理装置１００は、品質指標値Ｓに、値「１」からエラー領域割合Ｑを減算した値を除算するとともに、値「１」から画素差分度Ｎを減算した値を除算することにより品質指標値Ｓを算出する。すなわち、情報処理装置１００は、以下の式によって品質指標値Ｓを算出する。

Ｓ ＝ Ｓ´／｛（１−Ｑ）×（１−Ｎ）｝ ・・・ （１）

例えば、品質指標値Ｓ´が「１００」であり、エラー領域割合Ｑが「０．２」であり、画素差分度Ｎが「０．１」である場合、情報処理装置１００は、上記式（１）により、品質指標値Ｓとして、１００／｛（１−０．２）×（１−０．１）｝＝１３９を算出する。また、品質指標値Ｓ´が「１００」であり、エラー領域割合Ｑが「０．４」であり、画素差分度Ｎが「０．２」である場合、情報処理装置１００は、上記式（１）により、品質指標値Ｓとして、１００／｛（１−０．４）×（１−０．２）｝＝２０８を算出する。なお、ここでは、算出された品質指標値Ｓは四捨五入するものとする。

すなわち、情報処理装置１００によって算出された品質指標値Ｓは、エラー領域割合Ｑが大きくなるほど、値が大きくなり品質が悪いことを示す。一般的に、エラー領域のサイズが大きいほど、人間は動画データの品質が劣化していると判断する。情報処理装置１００は、エラー領域割合Ｑが大きいほど、悪い品質を示すように、品質指標値Ｓ´を補正して品質指標値Ｓを算出するので、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Ｓを算出することができる。

また、情報処理装置１００によって算出された品質指標値Ｓは、画素差分度Ｎが大きくなるほど、値が大きくなり品質が悪いことを示す。一般的に、動画データに本来用いられる色と異なる色が用いられるほど、人間は動画データの品質が劣化していると判断する。情報処理装置１００は、画素差分度Ｎが大きいほど、悪い品質を示すように、品質指標値Ｓ´を補正して品質指標値Ｓを算出するので、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Ｓを算出することができる。

次に、ＰフレームまたはＢフレームの品質指標値を算出する処理について説明する。図２−２は、ＰフレームまたはＢフレームの品質指標値を算出する処理を説明するための図である。なお、フレームＦ２２の参照元のフレームは、図２−１に示したフレームＦ２１であるものとする。

フレームＦ２２は、フロック歪度が大きくなったり、エッジが不鮮明になったりしているため品質が全体的に劣化しており、パケットロス等によってフレームＦ２２の領域Ｆ２２ａが局所的に劣化している。また、フレームＦ２２は、フレームＦ２１の局所的に劣化している領域Ｆ２１ａを参照しているため、品質劣化が領域Ｆ２２ｂに伝搬している。

情報処理装置１００は、このようなフレームＦ２２の品質指標値Ｓを算出する場合、まず、従来のＮＲ法と同様の手法によりフレームＦ２２の品質指標値Ｓ´を算出する。具体的には、情報処理装置１００は、図２−１を用いて説明した例と同様に、品質指標値Ｓ´として、フレームＦ２２のブロック歪度や、エッジの累計値などを算出する。

続いて、情報処理装置１００は、パケットロス等によって局所的に劣化している領域を特定する。具体的には、情報処理装置１００は、図２−１を用いて説明した例と同様に、フレームＦ２２内において、欠落しているパケットに対応する領域、および、ビットエラーが発生しているパケットに対応する領域を、エラー領域に特定する。図２−２に示した例では、情報処理装置１００は、領域Ｆ２２ａをエラー領域に特定する。

続いて、情報処理装置１００は、エラー領域における画素差分度Ｎを算出する。具体的には、情報処理装置１００は、図２−１を用いて説明した例と同様に、エラー領域における画像特性Ｃと、画像特性閾値とに基づいて画素差分度Ｎを算出する。

さらに、情報処理装置１００は、動きベクトル情報に基づいて、品質劣化が伝搬している領域を推定する。具体的には、情報処理装置１００は、参照元フレームＦ２１のエラー領域Ｆ２１ａを参照している領域であり、かつ、Ｙ成分の平均値、Ｕ成分の平均値およびＶ成分の平均値が、前述において算出した画像特性Ｃに近い値である領域を、品質劣化が伝搬している領域に推定する。図２−２に示した例では、情報処理装置１００は、フレーム領域Ｆ２２ｂを品質劣化が伝搬している領域に推定する。なお、以下では、情報処理装置１００によって品質劣化が伝搬していると推定された領域を「エラー拡散領域」と呼ぶこととする。

続いて、情報処理装置１００は、フレームＦ２２の領域のうち、エラー領域とエラー拡散領域とが占める割合（エラー領域割合Ｑ）を算出する。具体的には、情報処理装置１００は、エラー領域のサイズとエラー拡散領域のサイズとの和を、フレームＦ２２のサイズによって除算した値をエラー領域割合Ｑとして算出する。

続いて、情報処理装置１００は、品質指標値Ｓ´、エラー領域割合Ｑおよび画素差分度Ｎに基づいて、品質指標値Ｓを算出する。具体的には、情報処理装置１００は、図２−１を用いて説明した例と同様に、式（１）によって品質指標値Ｓを算出する。

情報処理装置１００は、上述した品質指標値算出処理をフレームごとに行う。そして、情報処理装置１００は、算出した品質指標値Ｓを所定の記憶部に蓄積したり、所定の表示部に表示制御したりする。なお、情報処理装置１００は、１つの動画データを構成する全てのフレームの品質指標値の平均値を算出して、算出した平均値を動画データの品質指標値として、所定の表示部に表示制御したりしてもよい。

このように、実施例１に係る情報処理装置１００は、ブロック歪度やエッジの鮮明度を考慮して客観的な品質を示す品質指標値Ｓ´を算出し、エラー領域割合Ｑに基づいて品質指標値Ｓ´を補正することで品質指標値Ｓを算出する。具体的には、情報処理装置１００は、エラー領域割合Ｑが大きいほど、悪い品質を示す品質指標値Ｓを算出する。すわなち、情報処理装置１００は、エラー領域のサイズが大きいほど、人間が動画データの品質が劣化していると感じることと同様に、悪い品質を示す品質指標値Ｓを算出することができる。

また、情報処理装置１００は、画素差分度Ｎに基づいて品質指標値Ｓ´を補正することで品質指標値Ｓを算出する。具体的には、情報処理装置１００は、画素差分度Ｎが大きいほど、悪い品質を示す品質指標値Ｓを算出する。すなわち、情報処理装置１００は、画素差分度Ｎが大きいほど、人間が動画データの品質が劣化していると感じることと同様に、悪い品質を示す品質指標値Ｓを算出することができる。

また、情報処理装置１００は、エラー拡散領域を推定してエラー領域割合Ｑを算出するので、品質劣化の伝搬を考慮してＰフレームまたはＢフレームの品質指標値Ｓを算出することができる。

以上のように、情報処理装置１００は、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Ｓを算出することができる。

次に、実施例１に係る情報処理装置１００の構成について説明する。図３は、実施例１に係る情報処理装置１００の構成を示す図である。図３に示すように、情報処理装置１００は、インタフェース（以下、「Ｉ／Ｆ」という）１１０と、制御部１２０とを有する。

Ｉ／Ｆ１１０は、ネットワーク網２０との間で各種情報を送受する。例えば、Ｉ／Ｆ１１０は、ネットワーク網２０を介して、配信サーバ１０から配信されるビットストリームデータのパケットを受信する。

制御部１２０は、情報処理装置１００を全体制御し、復号化部１２１と、情報取得部１２２と、品質指標値算出部１２３と、エラー領域特定部１２４と、画素差分算出部１２５と、エラー拡散領域推定部１２６と、品質指標値補正部１２７とを有する。

復号化部１２１は、Ｉ／Ｆ１１０を介してビットストリームデータを受信した場合に、かかるビットストリームデータをフレームごとに復号化（デコード）する。また、復号化部１２１は、復号化処理を行うとともに、パケットロスやビットエラーが発生しているフレームの領域を検出する。具体的には、復号化部１２１は、復号化するフレームの領域のうち、Ｉ／Ｆ１１０から入力されたパケットに対応する領域以外の領域を、パケットロスによって欠落している領域であると検出する。また、復号化部１２１は、パリティチェック等を行うことによりビットエラーが発生している領域を検出する。

なお、実施例１では、パケットロスやビットエラーの検出処理を復号化部１２１が行うこととするが、かかる検出処理は、復号化部１２１以外の処理部が行ってもよい。例えば、情報処理装置１００は、パケットロスやビットエラーが発生していることを検出するための所定の処理部であるエラー検出部を設けてもよい。

情報取得部１２２は、Ｉ／Ｆ１１０を介して受信したビットストリームデータおよび復号化部１２１によって復号化されたフレームから、各種情報を取得する。具体的には、情報取得部１２２は、時間情報Ｔや、ブロック分割の大きさＢ、動きベクトル情報や符号化種別などの参照情報Ｒ、動画データの種類を示す情報（例えば、（自然画、アニメーションなどを示す情報）等を取得する。

なお、情報取得部１２２によって取得される時間情報Ｔは、動画データにおけるフレームを特定するために用いられる。以下では、復号化部１２１によって復号化されたフレームのうち、時間情報Ｔによって特定されるフレーム内の画素を画素（ｘ、ｙ、Ｔ）と表記する。なお、画素（ｘ、ｙ、Ｔ）における「ｘ」および「ｙ」は、フレームをｘｙ座標で表した場合におけるｘ座標の位置およびｙ座標の位置を示す。例えば、フレーム（３００、２００、Ｔ）は、時間情報Ｔによって特定されるフレーム内の画素のうち、ｘ座標およびｙ座標が（３００、２００）である画素を示す。

また、ブロック分割の大きさＢは、例えば、品質指標値Ｓ´を算出する場合などに用いられる。また、動きベクトル情報や符号化種別などの参照情報Ｒは、エラー拡散領域を推定するために用いられる。また、動画データの種類は、画素差分度Ｎを算出するために用いられる。

品質指標値算出部１２３は、復号化部１２１によって復号化されたフレームの品質指標値Ｓ´を算出する。具体的には、品質指標値算出部１２３は、従来のＮＲ法と同様に、フレームのブロック歪度や、エッジの累計値などを品質指標値Ｓ´として算出する。なお、品質指標値算出部１２３は、Ｓｏｂｅｌ（ゾーベル）フィルタや、Ｐｒｅｗｉｔｔ（プレヴィット）フィルタなどのエッジ検出フィルタを用いてエッジの累計値を算出する。

エラー領域特定部１２４は、復号化部１２１によって復号化されたフレームのエラー領域を特定する。具体的には、エラー領域特定部１２４は、復号化部１２１によってパケットロスが発生していると検出された領域、および、ビットエラーが発生している検出された領域を、エラー領域に特定する。

そして、エラー領域特定部１２４は、画素ごとに、エラー領域内の画素であるか否かを示す情報（以下、「エラー領域情報」という）を定義する。本明細書では、エラー領域情報が「０」である場合、エラー領域内の画素でないことを示し、エラー領域情報が「１」である場合、エラー領域内の画素であることを示すこととする。例えば、画素（０、０、Ｔ）がエラー領域内の画素でない場合、エラー領域特定部１２４は、画素（０、０、Ｔ）のエラー領域情報を「０」に定義する。また、例えば、画素（１、０、Ｔ）がエラー領域内の画素である場合、エラー領域特定部１２４は、画素（１、０、Ｔ）のエラー領域情報を「１」に定義する。

画素差分算出部１２５は、エラー領域特定部１２４によって特定されたエラー領域における画素差分度Ｎを算出する。具体的には、画素差分算出部１２５は、エラー領域情報に「１（エラー有）」が定義されている各画素のＹ成分の値、Ｕ成分の値、Ｖ成分の値を算出し、エラー領域における画像特性Ｃ（Ｙ成分の平均値、Ｕ成分の平均値、Ｖ成分の平均値）を算出する。続いて、画素差分算出部１２５は、色空間における画像特性閾値と算出した画像特性Ｃとの最短距離を算出する。そして、情報処理装置１００は、算出した最短距離を所定の代表値によって除算することにより画素差分度Ｎを算出する。

なお、画素差分算出部１２５は、情報取得部１２２によって取得された動画データの種類を示す情報に基づいて、画素差分度Ｎを算出する際に用いる画像特性閾値を変更する。

また、画素差分算出部１２５は、エラー領域の各画素におけるＲ（red）成分、Ｇ（green）成分、Ｂ（blue）成分の平均値を算出してもよい。かかる場合、画素差分算出部１２５は、ＲＧＢの色空間における画像特性閾値と算出した平均値との最短距離に基づいて、画素差分度Ｎを算出する。

エラー拡散領域推定部１２６は、処理対象のフレームがＰフレームまたはＢフレームのようにフレーム間予測されたフレームである場合に、情報取得部１２２によって取得された動きベクトル情報Ｒに基づいて、エラー拡散領域を推定する。具体的には、エラー拡散領域推定部１２６は、参照元フレームのエラー領域を参照している領域であり、かつ、ＹＵＶ成分のそれぞれの平均値が、画素差分算出部１２５によって算出された画像特性Ｃに近い値である領域をエラー拡散領域に推定する。

そして、エラー拡散領域推定部１２６は、画素ごとに、エラー拡散領域内の画素であるか否かを示す情報（以下、「エラー拡散領域情報」という）を定義する。本明細書では、エラー拡散領域情報が「０」である場合、エラー拡散領域内の画素でないことを示し、エラー拡散領域情報が「１」である場合、エラー拡散領域内の画素であることを示すこととする。例えば、画素（０、０、Ｔ）がエラー拡散領域内の画素でない場合、エラー拡散領域推定部１２６は、画素（０、０、Ｔ）のエラー拡散領域情報を「０」に定義する。また、例えば、画素（１、０、Ｔ）がエラー拡散領域内の画素である場合、エラー拡散領域推定部１２６は、画素（１、０、Ｔ）のエラー拡散領域情報を「１」に定義する。

品質指標値補正部１２７は、品質指標値算出部１２３によって算出された品質指標値Ｓ´を補正して品質指標値Ｓを算出する。具体的には、品質指標値補正部１２７は、処理対象のフレームがフレーム間予測されたフレームでない場合、エラー領域情報が「１」を示す画素を集計して、エラー領域のサイズを算出する。続いて、品質指標値補正部１２７は、エラー領域のサイズを、フレームのサイズによって除算することにより、エラー領域割合Ｑを算出する。

一方、品質指標値補正部１２７は、処理対象のフレームがフレーム間予測されたフレームである場合、エラー領域のサイズを算出するとともに、エラー拡散領域情報が「１」を示す画素を集計して、エラー拡散領域のサイズを算出する。続いて、品質指標値補正部１２７は、エラー領域のサイズとエラー拡散領域のサイズとの和を、フレームのサイズによって除算することにより、エラー領域割合Ｑを算出する。

そして、品質指標値補正部１２７は、算出したエラー領域割合Ｑと、品質指標値算出部１２３によって算出された品質指標値Ｓ´と、画素差分算出部１２５によって算出された画素差分度Ｎとに基づいて、品質指標値Ｓを算出する。具体的には、品質指標値補正部１２７は、上記式（１）によって品質指標値Ｓを算出する。

次に、実施例１に係る情報処理装置１００による品質指標値算出処理の手順について説明する。図４は、実施例１に係る情報処理装置１００による品質指標値算出処理手順を示すフローチャートである。図４に示すように、情報処理装置１００は、Ｉ／Ｆ１１０を介してビットストリームデータを受信する（ステップＳ１０１）。

続いて、復号化部１２１は、受信したビットストリームデータをフレームごとに復号化する（ステップＳ１０２）。このとき、復号化部１２１は、パケットロスやビットエラーが発生しているフレーム内の領域を検出する（ステップＳ１０３）。

また、情報取得部１２２は、受信したビットストリームデータおよび復号化部１２１によって復号化されたフレームから、時間情報Ｔ、ブロック分割の大きさＢ、参照情報Ｒなどの各種情報を取得する（ステップＳ１０４）。

続いて、品質指標値算出部１２３は、復号化部１２１によって復号化されたフレームの品質指標値Ｓ´を算出する（ステップＳ１０５）。続いて、エラー領域特定部１２４は、復号化部１２１によってパケットロスやビットエラーが発生していると検出された領域に基づいて、エラー領域を特定する（ステップＳ１０６）。

続いて、画素差分算出部１２５は、エラー領域情報に「１（エラー有）」が定義されている各画素における画像特性Ｃを算出する（ステップＳ１０７）。続いて、画素差分算出部１２５は、色空間における画像特性閾値と算出した画像特性Ｃとの最短距離を算出する。続いて、画素差分算出部１２５は、算出した最短距離を所定の代表値によって除算することにより画素差分度Ｎを算出する（ステップＳ１０８）。

続いて、エラー拡散領域推定部１２６は、処理対象のフレームがフレーム間予測されたフレームである場合（ステップＳ１０９肯定）、情報取得部１２２によって取得された動きベクトル情報Ｒに基づいて、エラー拡散領域を推定する（ステップＳ１１０）。続いて、品質指標値補正部１２７は、フレームの全体領域のうち、エラー領域とエラー拡散領域とが占める割合であるエラー領域割合Ｑを算出する（ステップＳ１１１）。

一方、処理対象のフレームがフレーム間予測されたフレームでない場合（ステップＳ１０９否定）、品質指標値補正部１２７は、フレームの全体領域のうち、エラー領域が占める割合であるエラー領域割合Ｑを算出する（ステップＳ１１２）。

そして、品質指標値補正部１２７は、品質指標値算出部１２３によって算出された品質指標値Ｓ´と、画素差分算出部１２５によって算出された画素差分度Ｎと、ステップＳ１１１またはステップＳ１１２において算出したエラー領域割合Ｑとに基づいて、品質指標値Ｓを算出する（ステップＳ１１３）。情報処理装置１００は、動画データの全てのフレームについて品質指標値Ｓを算出した場合に（ステップＳ１１４肯定）、処理を終了する。一方、情報処理装置１００は、動画データの全てのフレームについて品質指標値Ｓを算出していない場合に（ステップＳ１１４否定）、上記ステップＳ１０２〜ステップＳ１１４における処理を繰り返し行う。

上述してきたように、実施例１に係る情報処理装置１００は、ブロック歪度やエッジの鮮明度を考慮して客観的な品質を示す品質指標値Ｓ´を算出する。そして、エラー領域割合Ｑおよび画素差分度Ｎに基づいて品質指標値Ｓ´を補正することで品質指標値Ｓを算出する。これにより、情報処理装置１００は、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Ｓを算出することができる。

なお、上記実施例１では、エラー領域特定部１２４が、パケットロスやビットエラーが発生している領域をエラー領域に特定する例を示したが、情報処理装置１００は、フレームの各画素における画像特性Ｃを算出してエラー領域を特定してもよい。具体的には、情報処理装置１００、算出した画像特性Ｃが画像特性閾値の範囲内に存在しない画素をエラー領域に特定してもよい。このような情報処理装置１００は、ネットワーク網２０を経由せずに受信した動画データの品質指標値Ｓを算出する場合に適用することができる。

ところで、所定の装置が、各情報処理装置によって算出された品質指標値Ｓに基づいて、動画データの品質を分析するようにしてもよい。そこで、実施例２では、品質指標値Ｓを算出する情報処理装置と、品質指標値Ｓを分析する品質管理装置とを含む動画配信システムについて説明する。

まず、実施例２に係る動画配信システム２について説明する。図５は、実施例２に係る動画配信システム２を示す図である。図５に示すように、動画配信システム２は、配信サーバ１０と、ネットワーク網２０を介して動画データを受信する情報処理装置２００ａ〜２００ｎとを含む。なお、以下の説明では、情報処理装置２００ａ〜２００ｎについて、いずれかを特定する必要がない場合には、これらを総称して情報処理装置２００と表記するものとする。

情報処理装置２００は、上記実施例１と同様に、配信サーバ１０から受信したビットストリームデータの品質指標値Ｓをフレームごとに算出する。そして、情報処理装置２００は、算出した品質指標値Ｓ等を含む各種情報（以下、「品質関連情報」という）を品質管理装置３００へ送信する。

品質管理装置３００は、情報処理装置２００から品質関連情報を受信し、受信した品質関連情報に基づいて、情報処理装置２００が保持している動画データの品質を分析する。具体的には、品質管理装置３００は、複数の情報処理装置２００から、同一の動画データにおける品質関連情報を受信した場合に、品質関連情報を比較して、情報処理装置２００が保持している動画データが所定の基準値以上の品質を有しているか否かを判定する。

次に、図５に示した情報処理装置２００の構成について説明する。図６は、図５に示した情報処理装置２００の構成を示す図である。なお、ここでは、図３に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。図６に示すように、情報処理装置２００は、Ｉ／Ｆ２１０と、制御部２２０とを有する。

制御部２２０は、図３に示した制御部１２０と比較して、送信部２２８を新たに有する。送信部２２８は、品質指標値補正部１２７によって算出された品質指標値Ｓを含む品質関連情報を、Ｉ／Ｆ２１０を介して品質管理装置３００へ送信する。具体的には、送信部２２８は、品質指標値Ｓ、フレームを特定するための時間情報Ｔ、エラー領域情報およびエラー拡散領域情報、エラー領域割合Ｑ、画素差分度Ｎ等を含む品質関連情報を、フレームごとに送信する。

次に、図５に示した品質管理装置３００の構成について説明する。図７は、図５に示した品質管理装置３００の構成を示す図である。図７に示すように、品質管理装置３００は、Ｉ／Ｆ３１０と、記憶部３２０と、制御部３３０とを有する。Ｉ／Ｆ３１０は、ネットワーク網２０との間で各種情報を送受する。例えば、Ｉ／Ｆ３１０は、ネットワーク網２０を介して、情報処理装置２００から品質関連情報を受信する。

記憶部３２０は、各種情報を記憶する記憶デバイスであり、品質関連情報記憶部３２１と、ログ情報記憶部３２２とを有する。品質関連情報記憶部３２１は、後述する受信部３３１によって受信された品質関連情報を記憶する。ログ情報記憶部３２２は、ログ情報を記憶し、例えば、テキストファイルや、テーブルである。

制御部３３０は、品質管理装置３００を全体制御し、受信部３３１と、基準値決定部３３２と、品質判定部３３３と、ログ出力部３３４とを有する。受信部３３１は、Ｉ／Ｆ３１０を介して、各種情報を受信する。また、受信部３３１は、品質関連情報を受信した場合、受信した品質関連情報を品質関連情報記憶部３２１に記憶させる。

基準値決定部３３２は、品質関連情報記憶部３２１に記憶されている品質関連情報に基づいて、品質指標値の基準値（以下、「品質指標基準値」という）をフレームごとに決定する。具体的には、基準値決定部３３２は、品質関連情報記憶部３２１から、動画データが同一であり、かつ、時間情報Ｔが同一である品質関連情報を取得する。さらに、基準値決定部３３２は、取得した品質関連情報のうち、パケットロス等によるエラーが発生していない品質関連情報を取得する。このとき、基準値決定部３３２は、エラー領域情報、または、エラー拡散領域情報、エラー領域割合Ｑのいずれかに基づいて、エラーが発生しているか否かを判別する。例えば、エラー領域情報が全て「０」である場合、エラー領域が存在しないことを示すので、基準値決定部３３２は、エラーが発生していないと判別できる。

続いて、基準値決定部３３２は、取得した品質関連情報に含まれる全ての品質指標値Ｓを比較する。比較した結果、品質指標値Ｓに差異がない場合、基準値決定部３３２は、取得した品質関連情報に含まれる品質指標値Ｓを品質指標基準値Ｓｓにすることを決定する。一方、品質指標値Ｓに差異がある場合、基準値決定部３３２は、最も多い品質指標値Ｓを品質指標基準値Ｓｓにすることを決定する。例えば、取得した品質関連情報に含まれる全ての品質指標値Ｓが、「１００、１００、１００、１０５、１１０」である場合、「１００」が最も多いので、基準値決定部３３２は、品質指標基準値Ｓｓを「１００」にすることを決定する。なお、基準値決定部３３２は、取得した品質指標値Ｓに差異がある場合に、取得した品質指標値Ｓの平均値を品質指標基準値Ｓｓに決定してもよい。

品質判定部３３３は、各フレームが所定の基準以下の品質を有しているか否かを判定する。具体的には、品質判定部３３３は、基準値決定部３３２によって決定された品質指標基準値Ｓｓを所定の閾値によって除算した値（以下、「品質指標許容値」という）Ｓｔｈを算出する。続いて、品質判定部３３３は、品質関連情報記憶部３２１から、品質指標値Ｓが品質指標許容値Ｓｔｈ以上である品質関連情報を取得する。そして、品質判定部３３３は、取得した品質関連情報が示すフレームを、品質が所定の基準以下のフレームであると判定する。

例えば、品質指標基準値Ｓｓが「１００」であり、閾値が「０．８」である場合、品質判定部３３３は、品質指標基準値Ｓｓ「１００」を閾値「０．８」によって除算した値である「１２５」を品質指標許容値Ｓｔｈとして算出する。続いて、品質判定部３３３は、品質関連情報記憶部３２１から、品質指標値Ｓが品質指標許容値Ｓｔｈ「１２５」以上である品質関連情報を取得する。

ログ出力部３３４は、品質判定部３３３によって特定されたフレームに関する情報をログ情報記憶部３２２に出力する。具体的には、ログ出力部３３４は、品質判定部３３３によって特定されたフレームからを送信した情報処理装置２００を識別するための情報や、かかるフレームの品質関連情報を所定の形式でログ情報記憶部３２２に出力する。

次に、図５に示した品質管理装置３００による品質判定処理の手順について説明する。図８は、図５に示した品質管理装置３００による品質判定処理手順を示すフローチャートである。図８に示すように、品質管理装置３００の受信部３３１は、情報処理装置２００から品質関連情報を受信し（ステップＳ２０１）、受信した品質関連情報を品質関連情報記憶部３２１に記憶させる。

続いて、基準値決定部３３２は、所定のタイミングになった場合に（ステップＳ２０２肯定）、品質関連情報記憶部３２１から、動画データが同一であり、かつ、時間情報Ｔが同一であり、かつ、エラーが発生していない品質関連情報を取得する（ステップＳ２０３）。なお、ここでいう「所定のタイミング」とは、複数の情報処理装置２００から同一の動画データを構成するフレームの品質関連情報を取得したことを検知した場合などを示す。

続いて、基準値決定部３３２は、取得した品質関連情報に含まれる全ての品質指標値Ｓを比較する（ステップＳ２０４）。比較した結果、品質指標値Ｓに差異がない場合（ステップＳ２０５否定）、基準値決定部３３２は、取得した品質指標値Ｓを品質指標基準値Ｓｓにすることを決定する（ステップＳ２０６）。一方、取得した品質指標値Ｓに差異がある場合（ステップＳ２０５肯定）、基準値決定部３３２は、最も多い品質指標値Ｓを品質指標基準値Ｓｓにすることを決定する（ステップＳ２０７）。

続いて、基準値決定部３３２によって決定された品質指標基準値Ｓｓを所定の閾値によって除算することにより品質指標許容値Ｓｔｈを算出する（ステップＳ２０８）。続いて、品質判定部３３３は、品質関連情報記憶部３２１から、品質指標値Ｓが品質指標許容値Ｓｔｈ以上である品質関連情報を取得する（ステップＳ２０９）。そして、品質判定部３３３は、取得した品質関連情報が示すフレームを、品質が所定の基準以下のフレームであると判定する。

そして、ログ出力部３３４は、品質判定部３３３によって特定されたフレームに関する情報や、かかるフレームを送信した情報処理装置２００を識別するための情報などを、ログ情報記憶部３２２に出力する（ステップＳ２１０）。

上述してきたように、実施例２に係る動画配信システム２は、情報処理装置２００が品質指標値Ｓを算出して、算出した品質指標値Ｓを含む品質関連情報を品質管理装置３００へ送信する。そして、品質管理装置３００が、複数の情報処理装置２００から品質関連情報を受信して、受信した品質関連情報を比較することにより、動画データを構成する各フレームが所定の基準値以上の品質を有しているか否かを判定する。これにより、動画配信システム２は、情報処理装置２００が保持している動画データが所定の基準値以上の品質を有しているか否かを自動的に判定することができる。その結果、動画配信システム２を用いると、利用者は、品質管理装置３００によって品質判定処理された結果（ログ情報記憶部３２２に記憶されている情報）を確認するだけで、複数の情報処理装置２００が保持している動画データの品質を確認することができる。

なお、上記実施例２では、品質管理装置３００が、フレームごとに、品質判定処理を行う例を示したが、品質管理装置３００は、動画データを複数のフレームごとに区切って、複数のフレームの品質指標値Ｓの平均値が所定の基準以下であるか否かを判定してもよい。例えば、品質管理装置３００は、動画データにおいてＩフレームが出現するたびに区切って、１つの区間ごとに品質判定処理を行ってもよい。また、例えば、品質管理装置３００は、１つの動画データを１つの区間として品質を分析してもよい。

また、上記実施例１および２では、処理対象のフレームがフレーム間予測されたフレームである場合に、エラー拡散領域推定部１２６がエラー拡散領域を推定する例を示した。しかし、エラー拡散領域推定部１２６は、処理対象のフレームがイントラ予測されたフレームである場合についても、エラー拡散領域を推定してもよい。かかる場合、エラー拡散領域推定部１２６は、動きベクトル情報Ｒに基づいて、処理対象のフレームにおけるエラー領域を参照している領域であり、かつ、ＹＵＶ成分のそれぞれの平均値が、画素差分算出部１２５によって算出された画像特性Ｃに近い値である領域をエラー拡散領域に推定する。

また、上記実施例１および２では、品質指標値算出部１２３が、従来のＮＲ法と同様の手法を用いて品質指標値Ｓ´を算出する例を示したが、品質指標値算出部１２３は、従来のＲＲ法と同様の手法を用いて品質指標値Ｓ´を算出してもよい。かかる場合、配信サーバ１０は、配信する動画データにおけるフレームごとの特徴量を、情報処理装置１００または２００へ送信する。そして、情報処理装置１００または２００は、復号化部１２１によって復号化された特徴量と、配信サーバ１０から受信した特徴量とに基づいて、品質指標値Ｓ´を算出する。

また、図３および図６に示した情報処理装置１００および２００の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、情報処理装置１００または２００の制御部１２０または２２０の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、情報処理装置１００または２００と同等の機能を実現することもできる。以下に、制御部１２０の機能をソフトウェアとして実装した品質指標値算出プログラム１０７１を実行するコンピュータの一例を示す。

図９は、品質指標値算出プログラム１０７１を実行するコンピュータ１０００を示す図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。

そして、ハードディスク装置１０７０には、図３に示した制御部１２０と同様の機能を有する品質指標値算出プログラム１０７１が記憶される。そして、ＣＰＵ１０１０が品質指標値算出プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、品質指標値算出プログラム１０７１は、品質指標値算出プロセス１０６１として機能するようになる。そして、品質指標値算出プロセス１０６１は、各種データ処理を実行する。

なお、上記の品質指標値算出プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。

また、図７に示した品質管理装置３００の構成についても、要旨を逸脱しない範囲で種々に変更することができる。例えば、品質管理装置３００の制御部３３０の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、品質管理装置３００と同等の機能を実現することもできる。以下に、制御部３３０の機能をソフトウェアとして実装した品質判定プログラム２０７１を実行するコンピュータの一例を示す。

図１０は、品質判定プログラム２０７１を実行するコンピュータ２０００を示す図である。このコンピュータ２０００は、各種演算処理を実行するＣＰＵ２０１０と、ユーザからのデータの入力を受け付ける入力装置２０２０と、各種情報を表示するモニタ２０３０と、記録媒体からプログラム等を読み取る媒体読取り装置２０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置２０５０と、各種情報を一時記憶するＲＡＭ２０６０と、ハードディスク装置２０７０とをバス２０８０で接続して構成される。

ハードディスク装置２０７０には、図７に示した制御部３３０と同様の機能を有する品質判定プログラム２０７１と、図７に示した品質関連情報記憶部３２１に記憶される各種データに対応する品質関連データ２０７２と、図７に示したログ情報記憶部３２２に対応するログファイル２０７３とが記憶される。なお、品質関連データ２０７２またはログファイル２０７３を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。

そして、ＣＰＵ２０１０が品質判定プログラム２０７１をハードディスク装置２０７０から読み出してＲＡＭ２０６０に展開することにより、品質判定プログラム２０７１は、品質判定プロセス２０６１として機能するようになる。そして、品質判定プロセス２０６１は、品質関連データ２０７２から読み出した情報等を適宜ＲＡＭ２０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。そして、品質判定プロセス２０６１は、所定の情報をログファイル２０７３に出力する。

Claims (16)

1. 動画データの品質を算出する情報処理装置による品質指標値算出方法であって、
   前記情報処理装置が、
   パケットに分割された動画データを受信する受信工程と、
   前記受信工程によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化工程と、
   前記受信工程によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出工程と、
   前記復号化工程によって復号化されたフレームの領域のうち、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定工程と、
   前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程と
   を含んだことを特徴とする品質指標値算出方法。
2. 前記エラー検出工程は、前記受信工程によって受信されたパケットにビットエラーが発生しているか否かを検出し、
   前記エラー領域特定工程は、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域、および、前記エラー検出工程によってビットエラーが発生していると検出された領域をエラー領域に特定することを特徴とする請求項１に記載の品質指標値算出方法。
3. 前記情報処理装置が、前記エラー領域特定工程によって特定されたエラー領域における画素値の平均値と、所定の閾値との差分をフレームごとに算出する画素差分算出工程をさらに含んだことを特徴とする請求項１または２に記載の品質指標値算出方法。
4. 前記情報処理装置が、前記復号化工程によって、フレーム間予測またはイントラ予測によって符号化されたフレームを復号化された場合に、該フレームの領域のうち、エラー領域を参照している領域であるエラー拡散領域を特定するエラー拡散領域特定工程をさらに含み、
   前記エラー領域割合算出工程は、前記フレームの領域のうち、前記エラー領域特定工程によって特定されたエラー領域と、前記エラー拡散領域特定工程によって特定されたエラー拡散領域とが占める割合をフレームごとに算出することを特徴とする請求項１〜３のいずれか一つに記載の品質指標値算出方法。
5. 前記情報処理装置が、前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出工程と、
   前記エラー領域割合算出工程によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正工程とをさらに含んだことを特徴とする請求項４に記載の品質指標値算出方法。
6. 前記品質指標値補正工程は、前記画素差分算出工程によって算出された画素値の差分が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正することを特徴とする請求項５に記載の品質指標値算出方法。
7. 動画データの品質を算出する情報処理装置による品質指標値算出方法であって、
   前記情報処理装置が、
   動画データを構成する各フレームに対して、画素値が所定の閾値の範囲以外である領域を特定するエラー領域特定工程と、
   前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定されたエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程と
   を含んだことを特徴とする品質指標値算出方法。
8. 前記情報処理装置が、前記エラー領域特定工程によって特定されたエラー領域における画素値の平均値と、該平均値に最も近い前記所定の閾値の値との差分をフレームごとに算出する画素差分算出工程をさらに含んだことを特徴とする請求項７に記載の品質指標値算出方法。
9. 前記情報処理装置が、前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出工程と、
   前記エラー領域割合算出工程によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正するとともに、前記画素差分算出工程によって算出された画素値の差分が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正工程とをさらに含んだことを特徴とする請求項８に記載の品質指標値算出方法。
10. パケットに分割された動画データを受信する受信手段と、
    前記受信手段によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化手段と、
    前記受信手段によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手段と、
    前記復号化手段によって復号化されたフレームの領域のうち、前記エラー検出手段によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手段と、
    前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段と
    を備えたことを特徴とする情報処理装置。
11. 前記エラー領域特定手段によって特定されたエラー領域における画素値の平均値と、所定の閾値との差分をフレームごとに算出する画素差分算出手段をさらに備えたことを特徴とする請求項１０に記載の情報処理装置。
12. 前記復号化手段によって、フレーム間予測またはイントラ予測によって符号化されたフレームを復号化された場合に、該フレームの領域のうち、エラー領域を参照している領域であるエラー拡散領域を特定するエラー拡散領域特定手段をさらに備え、
    前記エラー領域割合算出手段は、前記フレームの領域のうち、前記エラー領域特定手段によって特定されたエラー領域と、エラー拡散領域特定手段によって特定されたエラー拡散領域とが占める割合をフレームごとに算出することを特徴とする請求項１１に記載の情報処理装置。
13. 前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出手段と、
    前記エラー領域割合算出手段によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出手段によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正手段とをさらに備えたことを特徴とする請求項１０〜１２のいずれか一つに記載の情報処理装置。
14. 動画データを構成する各フレームに対して、画素値が所定の閾値の範囲以外である領域を特定するエラー領域特定手段と、
    前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定されたエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段と
    を備えたことを特徴とする情報処理装置。
15. パケットに分割された動画データを受信する情報処理装置と、動画データの品質を管理する品質管理装置とを含む動画配信システムであって、
    前記情報処理装置は、
    前記パケットを受信した場合に、前記動画データをフレームごとに復号化する復号化手段と、
    受信したパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手段と、
    前記復号化手段によって復号化されたフレームの領域のうち、前記エラー検出手段によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手段と、
    前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段とを備え、
    前記品質管理装置は、
    前記情報処理装置から動画データを構成するフレームの品質指標値と、パケットロスまたはビットエラーが発生している否かを示すエラー有無情報との組合せを受信する受信手段と、
    前記受信手段によって受信された複数の品質指標値のうち、エラー有無情報がパケットロスまたはビットエラーが発生していないことを示す品質指標値を品質指標値の基準値に決定する基準値決定手段と、
    前記受信手段によって受信された品質指標値ごとに、該品質指標値と前記基準値決定手段によって決定された基準値との差分が所定の閾値よりも大きいか否かを判定する品質判定手段と
    を備えたことを特徴とする動画配信システム。
16. パケットに分割された動画データを受信する受信手順と、
    前記受信手順によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化手順と、
    前記受信手順によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手順と、
    前記復号化手順によって復号化されたフレームの領域のうち、前記エラー検出手順によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手順と、
    前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手順によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手順と
    をコンピュータに実行させることを特徴とする品質指標値算出プログラム。

Images