JP4510583B2 - 双方向マルチモーダルサービス品質推定装置および方法 - Google Patents

Description

本発明は、サービス品質推定技術に関し、特に音声や映像などのメディアなどを用いて通信ネットワーク経由でユーザが通信相手とリアルタイムでコミュニケーションを行う双方向マルチモーダルサービスのサービス品質を推定する技術に関するものである。

ＩＰ技術の発達よりインターネットへユーザが接続するアクセス回線が高速化・広帯域化され、音声や映像などのメディアを用いてユーザが通信相手とリアルタイムでコミュニケーションを行う双方向マルチモーダルサービスが期待されている。
しかしながら、インターネットは、必ずしも通信品質の保証されていないネットワークであるため、音声や映像などのメディアを用いて通信を行う場合、ユーザ間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、これらメディアに対してユーザが知覚する品質（主観品質）が劣化してしまう。

具体的には、音声に品質劣化が加わると、途切れ・雑音・応答の遅れなどとして知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感・応答の遅れなどとしてユーザに知覚される。
また、音声および映像メディア信号送信時の処理時間（送信バッファ時間、音声および映像のエンコード処理時間など）、ネットワークにおける遅延時間（ネットワーク構成、通信者間の物理的距離など）、音声や映像などのメディア信号受信時の処理時間（受信バッファ時間、音声および映像のデコード処理時間など）に起因する遅延時間によって、音声や映像の応答の遅れが知覚される場合がある。

このような双方向マルチモーダルサービスを良好なサービス品質で提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。

従来、音声品質を推定する技術については、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）の勧告Ｐ．８６２において、音声品質客観評価尺度ＰＥＳＱ（Perceptual Evaluation of Speech Quality）が規定されている。また、映像品質を推定する技術についても、ＩＴＵ−Ｔ勧告Ｊ．１４４において映像品質客観評価尺度が記載されている。これらの客観評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。

なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
特開平８−２８９３３３号公報 特開２００２-０６４５３９号公報 ITU-T Recommendation P.862,"Perceptual Evaluation of Speech Quality",Feb.2001 ITU-T Recommendation J.144,"Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference ",Mar.2001

しかしながら、このような従来技術では、客観品質評価尺度として音声や映像の各メディアについてそれぞれ個別の品質を取り扱っているのがほとんどであり、音声や映像など複数のメディアを用いた通信サービスの総合的な品質評価尺度として利用することができないという問題があった。

また、テレビ電話／会議サービスなどのような双方向通信サービスの場合には、各メディアの伝送遅延時間やメディア間の遅延時間のずれ（同期ずれ）がサービスの品質を劣化させる原因となり得るが、上記と同様に品質評価尺度として考慮されていないという問題があった。なお、音声品質と映像品質から総合品質を求める方法も提案されているが（例えば、特許文献１など参照）テレビ放送のような片方向の音声および映像サービスを前提としており、双方向性すなわち本発明における遅延時間などについては考慮されていない。

本発明はこのような課題を解決するためのものであり、音声や映像などの複数のメディアを用いた双方向マルチモーダルサービスの総合的なサービス品質を推定できる双方向マルチモーダルサービス品質推定装置および方法を提供することを目的としている。

このような目的を達成するために、本発明にかかる双方向マルチモーダルサービス品質推定装置は、音声や映像などの複数のメディアを用いて通信ネットワークを介して接続されたユーザ端末間のコミュニケーションを実現する双方向マルチモーダルサービスについて、これら各メディアの品質劣化要因に基づき当該サービスの総合的な品質を示す総合品質評価値を推定する双方向マルチモーダルサービス品質推定装置であって、総合品質評価値を推定する総合品質推定モデルを予め記憶する記憶部と、当該サービスのサービス品質を劣化させる各種品質劣化要因を示すパラメータを装置外部から取得して記憶部に記録するパラメータ記録部と、記憶部のパラメータから当該サービスで用いられるメディアごとのメディア品質値と所定の評価項目に関する評価項目品質値とからなる個別品質値をそれぞれ推定する個別品質推定部と、記憶部の総合品質推定モデルに基づいて、個別品質値から当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定部とを備えている。

総合品質評価値を推定する際、サービス品質推定部で、記憶部の総合品質推定モデルに基づいて、個別品質値を示す項およびこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより総合品質評価値を推定するようにしてもよい。

また、個別品質値を推定する際、記憶部で、個別品質値を推定する個別品質推定モデルを予め記憶し、個別品質推定部に、パラメータからそれぞれ個別の品質劣化要因に関する単一劣化要因品質値を算出する複数の単一劣化要因品質算出手段と、記憶部の対応する個別品質推定モデルに基づいて、単一劣化要因品質算出手段で算出された各単一劣化要因品質値から所望の個別品質値を推定する個別品質算出手段とを設けてもよい。

この際、個別品質算出手段で、個別品質推定モデルに基づいて、各単一劣化要因品質値を示す項およびこれら品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら値を重み付け加算することにより個別品質値を推定するようにしてもよい。

また、本発明にかかる双方向マルチモーダルサービス品質推定方法は、音声や映像などの複数のメディアを用いて通信ネットワークを介して接続されたユーザ端末間のコミュニケーションを実現する双方向マルチモーダルサービスについて、これら各メディアの品質劣化要因に基づき当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定装置で用いられる双方向マルチモーダルサービス品質推定方法であって、総合品質評価値を推定する総合品質推定モデルを記憶部で予め記憶するステップと、当該サービスのサービス品質を劣化させる各種品質劣化要因を示すパラメータを装置外部から取得して記憶部に記録するパラメータ記録ステップと、記憶部のパラメータから当該サービスで用いられるメディアごとのメディア品質値と所定の評価項目に関する評価項目品質値とからなる個別品質値をそれぞれ推定する個別品質推定ステップと、記憶部の総合品質推定モデルに基づき、個別品質値から当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定ステップとを備えている。

総合品質評価値を推定する際、サービス品質推定ステップで、記憶部の総合品質推定モデルに基づいて、個別品質値を示す項とこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより総合品質評価値を推定するようにしてもよい。

また、個別品質値を推定する際、個別品質値を推定する個別品質推定モデルを記憶部で予め記憶するステップをさらに備え、個別品質推定ステップに、パラメータからそれぞれ個別の品質劣化要因に関する単一劣化要因品質値を算出する複数の単一劣化要因品質算出ステップと、記憶部の対応する個別品質推定モデルに基づいて、単一劣化要因品質算出ステップで算出された各単一劣化要因品質値から所望の個別品質値を推定する個別品質算出ステップとを設けてもよい。

この際、個別品質推定ステップで、記憶部の個別品質推定モデルに基づいて、各単一劣化要因品質値を示す項およびこれら品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら値を重み付け加算することにより個別品質値を推定するようにしてもよい。

本発明によれば、装置外部から取得された各種パラメータから当該双方向マルチモーダサービスで用いられるメディアごとのメディア品質値と所定の評価項目に関する評価項目品質値とがそれぞれ推定され、これらメディア品質値および評価項目品質値から所定の総合品質推定モデルに基づき、当該サービスの総合的な品質を示す総合品質評価値が推定されるため、音声や映像などの複数のメディアを用いた双方向マルチモーダルサービスであっても、その総合的なサービス品質を容易に推定できる。

したがって、双方向マルチモーダルサービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。また、品質をより改善するための指針として、アプリケーションパラメータやネットワークパラメータのいずれを改善すればよいかを把握することもできる。これらにより、上記サービスで用いる、例えば映像ビットレート、フレームレート、コーデックなどのアプリケーションパラメータや、映像無効パケット率、音声無効パケット率、遅延時間、音声・映像同期ずれなどのネットワークパラメータの設計、さらには提供中のサービスの品質実態を把握・管理することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の構成を示すブロック図である。

この双方向マルチモーダルサービス品質推定装置（以下、サービス品質推定装置という）１０は、音声や映像などの複数のメディアにより通信ネットワーク経由でユーザ間のコミュニケーションを実現する双方向マルチモーダルサービスについて、これら各メディアの品質劣化要因に基づき総合的なサービス品質を推定する装置である。

このサービス品質推定装置１０は、全体として、入力された情報に対して情報処理部で所定の情報処理を行う、パーソナルコンピュータなどの一般的な情報処理装置からなり、情報処理装置と同様に、画面表示部、操作入力部、通信インターフェース部（以下、通信Ｉ／Ｆ部という）、記憶部、および情報処理部を有している。
画面表示部（図示せず）は、ＬＣＤやＣＲＴなどからなり、情報処理部からの指示に応じて操作画面や総合品質評価値などの処理結果を画面表示する画面表示装置である。操作入力部（図示せず）は、キーボードやマウスなどからなり、オペレータの操作を検出して情報処理部へ出力する操作入力装置である。通信Ｉ／Ｆ部（図示せず）は、通信ネットワークや外部装置と例えば品質劣化要因を示すパラメータや総合品質評価値などの各種情報、さらには情報処理部で用いるプログラムをやり取りする回路部である。

記憶部（図示せず）は、ハードディスクやメモリからなり、情報処理部での情報処理に用いる各種情報やプログラムを記憶する記憶装置である。記憶部で記憶する主な情報としては、品質劣化要因を示すパラメータや品質推定に用いる推定モデルなどがある。
情報処理部（図示せず）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部のプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各種機部を実現する。情報処理部で実現される主な機能部としては、アプリケーションパラメータ記録部１、ネットワークパラメータ記録部２、個別品質推定部３、およびサービス品質推定部４がある。

アプリケーションパラメータ記録部１は、通信Ｉ／Ｆ部を介して通信ネットワークや外部装置から、推定対象となる双方向マルチモーダルサービスのサービス品質を劣化させる品質劣化要因のうち、当該サービスを利用するユーザ端末で実行されるアプリケーションに関する品質劣化要因としてアプリケーションパラメータを取得する機能と、取得したアプリケーションパラメータを記憶部へ記録する機能とを有している。
ネットワークパラメータ記録部２は、通信Ｉ／Ｆ部を介して通信ネットワークや外部装置から、上記品質劣化要因のうち、当該サービスを提供する通信ネットワークの振る舞いに関する品質劣化要因としてネットワークパラメータを取得する機能と、取得したネットワークパラメータを記憶部へ記録する機能とを有している。

個別品質推定部３は、アプリケーションパラメータ記録部１およびネットワークパラメータ記録部２で取得された各パラメータを記憶部から取得する機能と、これらパラメータに基づき当該サービスで用いられるメディアや当該サービスに対する評価項目に関する個別品質値を推定する機能とを有している。
サービス品質推定部４は、個別品質推定部３で推定された当該サービスの各個別品質値から、当該サービスの総合的なサービス品質である総合品質評価値１４を推定する機能を有している。

［第１の実施の形態の動作］
次に、図２参照して、本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の動作について説明する。図２は、本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の総合品質推定処理を示す処理フロー図である。ここでは、推定対象となる双方向マルチモーダルサービスが、音声と映像の２つのメディアを用いる場合を例として説明する。

サービス品質推定装置１０の情報処理部は、まず、アプリケーションパラメータ記録部１により、映像ビットレート（スループット）、フレームレート、音声／映像コーデックなどのアプリケーションパラメータを導出して記録する。また、ネットワークパラメータ記録部２により、音声無効パケット率、映像無効パケット率、遅延時間などのネットワークパラメータを導出して記録する。無効パケット率とは、送信した全パケット数のうち、通信経路上や受信側バッファの状況に起因する無効パケットの数、すなわち損失した損失パケット数と所定遅延時間内に到達しなかった遅延パケット数との和、の割合を示す値であり（例えば、特許文献２など参照）、音声メディアパケットおよび映像メディアパケットについてそれぞれ音声無効パケット率および映像パケット率を算出する。

次に、情報処理部は、個別品質推定部３により、アプリケーションパラメータ記録部１とネットワークパラメータ記録部２のパラメータ値を記憶部から取得し、これらパラメータ値を入力として個別品質値を推定する。
具体的には、図２のように、個別品質推定部３内に、当該双方向マルチモーダルサービスで用いる各メディアに関するメディア品質値を推定する個別品質算出部として、映像品質算出部３１および音声品質算出部３３が設けられており、当該サービスに対する所定の評価項目に関する評価項目品質を推定する個別品質算出部として、遅延品質算出部３２が設けられている。

映像品質算出部３１は、当該サービスで用いる映像メディアに関する映像メディア品質値（個別品質値）を推定する機能部であり、単一の品質劣化要因に関する単一劣化要因品質値を算出する３つの単一劣化要因品質算出手段３１Ａ〜３１Ｃと、これら単一劣化要因品質算出手段３１Ａ〜３１Ｃで算出された３つの単一劣化要因品質値から映像メディア品質値（個別品質値）を算出する映像メディア品質算出手段３１Ｓとから構成されている。

このうち、単一劣化要因品質算出手段３１Ａは、アプリケーションパラメータ１１のうちの映像ビットレート１１Ａから映像ビットレート（スループット）に関する単一劣化要因品質値を算出する機能を有している。単一劣化要因品質算出手段３１Ｂは、アプリケーションパラメータ１１のうちのフレームレート１１Ｂからフレームレートに関する単一劣化要因品質値を算出する機能を有している。単一劣化要因品質算出手段３１Ｃは、アプリケーションパラメータ１１のうちの映像無効パケット率１２Ｃから映像パケット無効率に関する単一劣化要因品質値を算出する機能を有している。

これら単一劣化要因品質算出手段３１Ａ〜３１Ｃは、次の式（１）〜（３）の単一劣化要因品質推定モデルに基づき所望の単一劣化要因品質値をそれぞれ算出する。式（１）〜（３）において、Ｂｒは映像ビットレート、Ｆｒはフレームレート、Ｐｖは映像無効パケット率、Ｖ₁（Ｂｒ）は映像ビットレートに関する品質値、Ｖ₂（Ｆｒ）はフレームレートに関する品質値、Ｖ₃（Ｐｖ）は映像無効パケット率に関する品質値、ａ₁〜ａ₃，ｂ₁〜ｂ₃，ｃ₁〜ｃ₃はそれぞれ算出のための定数である。

また、映像メディア品質算出手段３１Ｓは、単一劣化要因品質算出手段３１Ａ〜３１Ｃで得られたら品質値Ｖ₁（Ｂｒ），Ｖ₂（Ｆｒ），Ｖ₃（Ｐｖ）と、これら品質値の交互作用の項Ｖ₁（Ｂｒ）×Ｖ₂（Ｆｒ），Ｖ₁（Ｂｒ）×Ｖ₃（Ｐｖ），Ｖ₂（Ｆｒ）×Ｖ₃（Ｐｖ），Ｖ₁（Ｂｒ）×Ｖ₂（Ｆｒ）×Ｖ₃（Ｐｖ）とを重み付け加算することにより、映像メディアに関するメディア品質値を算出する。

この映像メディア品質算出手段３１Ｓは、次の式（４）の個別品質推定モデルに基づき所望の映像メディア品質値（個別品質値）を算出する。式（４）において、Ｖ（Ｂｒ，Ｆｒ，Ｐｖ）は映像メディア品質値であり、ａ₀，ｂ₀，ｃ₀，ｄ₀，ｅ₀，ｆ₀，ｇ₀，ｈ₀は各項に対する重み係数である。

次に、遅延品質算出部３２は、当該サービスに対する評価項目のうち遅延に関する品質値、すなわち音声および映像の遅延時間と同期ずれにより劣化する遅延品質値（個別品質値）を推定する機能部であり、単一の品質劣化要因に関する品質値を算出する単一劣化要因品質算出手段３２Ａから構成されている。
単一劣化要因品質算出手段３２Ａは、ネットワークパラメータ１２のうちの遅延時間１２Ａから遅延に関する単一劣化要因品質値を算出する機能を有している。この単一劣化要因品質算出手段３２Ａは、次の式（５）の単一劣化要因品質推定モデルに基づき所望の品質値を算出する。式（５）において、Ｄは各メディアパケットを代表する遅延時間、例えば平均遅延時間であり、Ｄ（Ｄ）は遅延に関する品質値、ａ₄，ｂ₄，ｃ₄はそれぞれ算出のための定数である。

なお、遅延品質算出部３２には、１つの単一劣化要因品質算出手段３２Ａしか設けられておらず、この単一劣化要因品質算出手段３２Ａで算出された単一劣化要因品質値が、当該サービスの遅延品質値（個別品質値）として出力される。

次に、音声品質算出部３３は、当該サービスで用いる音声メディアに関する音声メディア品質（個別品質値）を推定する機能部であり、単一の品質劣化要因に関する単一劣化要因品質を算出する単一劣化要因品質算出手段３３Ａから構成されている。
単一劣化要因品質算出手段３３Ａは、アプリケーションパラメータ１１のうちの音声無効パケット率１２Ｂから音声パケット無効率に関する単一劣化要因品質値を算出する機能を有している。この単一劣化要因品質算出手段３３Ａは、次の式（６）の単一劣化要因品質推定モデルに基づき所望の品質を算出する。式（６）において、Ｐａは音声無効パケット率、Ａ（Ｐａ）は音声無効パケット率に関する品質値、ａ₅，ｂ₅，ｃ₅はそれぞれ算出のための定数である。

なお、音声品質算出部３３には、１つの単一劣化要因品質算出手段３３Ａしか設けられておらず、この単一劣化要因品質算出手段３３Ａで計算された単一劣化要因品質値が、当該サービスの音声メディア品質値（個別品質値）として出力される。

サービス品質推定部４は、個別品質推定部３により推定された映像メディア品質値、音声メディア品質値、および遅延品質値からなる個別品質値を入力とし、当該双方向マルチモーダルサービスに対する総合的な品質すなわち総合品質評価値１４を推定する機能部であり、総合品質推定モデルに基づいて、これら品質値を示す項とこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより総合品質評価値１４を推定出力する総合品質算出手段４０Ａから構成されている。

総合品質算出手段４０Ａは、個別品質推定部３により推定された品質値Ｖ（Ｂｒ，Ｆｒ，Ｐｖ），Ｄ（Ｄ），Ａ（Ｐａ）と、これらこれら品質値の交互作用の項Ｖ（Ｂｒ，Ｆｒ，Ｐｖ）×Ｄ（Ｄ），Ｖ（Ｂｒ，Ｆｒ，Ｐｖ）×Ａ（Ｐａ），Ｄ（Ｄ）×Ａ（Ｐａ），Ｖ（Ｂｒ，Ｆｒ，Ｐｖ）×Ｄ（Ｄ）×Ａ（Ｐａ）とを重み付け加算することにより、当該双方向マルチモーダルサービスの総合品質評価値１４を算出する。

この総合品質算出手段４０Ａは、次の式（７）の総合品質推定モデルに基づき所望の総合品質評価値１４を算出する。式（７）においてＭＯＳ（Ｂｒ，Ｆｒ，Ｐｖ，Ｄ，Ｐａ）は総合品質評価値１４であり、α，β，γ，δ，ε，ζ，η，θは各項に対する重み係数である。なお、ＭＯＳ（Mean Opinion Score）とは、被験者が主観的に音声や映像を段階評価する品質評価方法であり、その評価値をＭＯＳ値という。

このように、本実施の形態によれば、個別品質推定部３により、取得されたアプリケーションパラメータ１１およびネットワークパラメータ１２から各単一劣化要因に関する単一劣化要因品質値をそれぞれ算出した後、これら単一劣化要因品質値から当該双方向マルチモーダルサービスで用いる各メディアに関するメディア品質値と当該サービスに対する所定の評価項目に関する評価品質値とを推定し、サービス品質推定部４により、これらメディア品質値と評価品質値とをそれぞれの重み係数に基づき重み付け加算することにより当該サービスの総合品質評価値を推定するようにしたので、音声や映像などの複数のメディアを用いた双方向マルチモーダルサービスであっても、その総合的なサービス品質を容易に推定できる。

したがって、双方向マルチモーダルサービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。また、品質をより改善するための指針として、アプリケーションパラメータやネットワークパラメータのいずれを改善すればよいかを把握することもできる。これらにより、上記サービスで用いる、例えば映像ビットレート、フレームレート、コーデックなどのアプリケーションパラメータや、映像無効パケット率、音声無効パケット率、遅延時間、音声・映像同期ずれなどのネットワークパラメータの設計、さらには提供中のサービスの品質実態を把握・管理することが可能となる。

また、総合品質評価値を推定する際、総合品質推定モデルに基づいて、各個別品質値を示す項およびこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより総合品質評価値を推定するようにしたので、極めて簡素な推定モデルで容易かつ迅速に所望の総合品質評価値を推定できる。

また、個別品質を推定する際、各パラメータからそれぞれ個別の品質劣化要因に関する単一劣化要因品質値をそれぞれ算出し、これら単一劣化要因品質値から所望の個別品質値を推定するようにしたので、各メディアや評価項目に関する個別品質値を複数の単一劣化要因品質値から精度よく推定できる。
さらに、各単一劣化要因品質値から個別品質推定する際、当該個別品質の個別品質推定モデルに基づいて、各単一劣化要因品質値を示す項およびこれら品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら値を重み付け加算することにより個別品質値を推定するようにしたので、極めて簡素な推定モデルで容易かつ迅速に所望の個別品質評価値を推定できる。

［推定モデルの導出］
前述した各品質の推定モデルについては、主観評価実験により導出した。前述した各推定式で用いる係数は、双方向マルチモーダルサービスをどのような利用シーンで利用するのか、どのような会話を行うかなど、サービスの利用目的により左右される値であり、想定するサービス利用シーンを決定し、前もって主観評価実験を行うことでこれらの係数は求めることが可能である。

これら推定モデルの関数系は一例であり、映像品質推定値Ｖ（Ｂｒ，Ｆｒ，Ｐｖ）、音声品質推定値Ａ（Ｐａ）、遅延時間品質推定値Ｄ（Ｄ）についても、上記同様に主観評価実験を行うことで得ることができる。また、ＭＯＳ（Ｂｒ，Ｆｒ，Ｐｖ，Ｄ，Ｐａ）は、上記関数の交互作用を考慮した式で定式かされるが、どのような会話を行うかなどにより考慮される交互作用の項も変化し、全ての項を考慮する必要はない。
交互作用を考慮しない推定式や、ある特定の交互作用のみを考慮した推定式も本発明に含まれる。さらに、新たにメディア（例えば、データ）や品質劣化要因が追加された場合も上記同様に品質推定値を算出し、重み付けした値に基づいて総合品質を推定することも本発明に含まれる。

具体的に各定数を求める方法は、まず、音声／映像品質の異なる複数の実験条件を設定し、これらに対し主観評価実験を行う。各品質は音声／映像通信サービス環境（無効パケット率、パケット遅延時間／ゆらぎ時間などのネットワークパラメータ）が制御できる実験系、例えば、ネットワークエミュレータ装置を介して、双方向マルチモーダルサービスを用いる端末／アプリケーションを接続した系、を用いることで制御可能である。
主観評価実験では、被験者に想定するサービス利用シーンを模擬する会話を実施してもらい、ＭＯＳ値として５段階尺度、例えば「非常に良い、良い、どちらともいえない、悪い、非常に悪い」に対応する評価値を求める。

これらのデータからＭＯＳを目的変数、Ｖ（Ｂｒ，Ｆｒ，Ｐｖ），Ｄ（Ｄ），Ａ（Ｐａ）を説明変数とし、重回帰分析を行うことにより定数α，β，γ，δ，ε，ζ，η，θの値を求める。その他定数も同様に重回帰分析により求められる。
具体的な主観評価実験としては、まず、実験環境として、ＰＣを用いて１対１の対面会話を行うことができる評価実験系を構築し、音声／映像符号化方式にはＧ．７２２／ＭＰＥＧ４（画像解像度：ＶＧＡ，劣化隠蔽処理：なし）を用い、相手の映像を１７インチＰＣモニタに約１０インチの大きさで表示させた。また、音声の入出力にはマイクとヘッドフォンを用いた。視聴条件は、視距離が５０〜８０ｃｍ、室内照度が約５００ｌｕｘ、室内騒音が３５ｄＢ（Ａ）とした。

評価パラメータについては、図３に示す４６種類の条件によって、音声・映像品質を変化させて総合品質の評価を行い、計測や設定値参照により取得可能な各種パラメータ値から所望の総合品質評価値を示すＭＯＳ値を推定する推定モデル（推定式）を求めている。図３は、実験条件を示す説明図である。音声と映像のパケット損失はともにランダム損失とし、End-to-End片道遅延時間は同期しているものとした。ただし、条件０の評価映像は、無圧縮のＮＴＳＣ信号とした。

評価タスクについては、双方向マルチモーダルサービスの利用目的として井戸端会議（自由会話）を想定し、評価タスクとして自由会話に近い「名前当てタスク」を選定した。具体的には、６０秒間の会話の中で、会話相手が思い浮かべる名前（日用品，食べ物など）を質疑により当てるタスクとした。
評価尺度については、会話による音声・映像に対する総合品質を前述した５段階品質尺度の平均オピニオン評点であるＭＯＳ値で評価した。被験者はインターネットを利用する２０〜３９までの男女４０名とした。

本実施の形態では、このような主観品質評価実験により得られたＭＯＳ値と品質劣化要因との関係を利用して重回帰分析により所望の係数を推定している。
この推定処理としては、まず、第１のステップにおいて、各品質劣化要因とＭＯＳ値の関係を定式化する。次に、第２のステップにおいて、重回帰分析により、各メディアに対するＭＯＳ値を交互作用も考慮して定式化する。そして、第３のステップにおいて、重回帰分析により、ＭＯＳ値をメディア間の交互作用も考慮し定式化する。これにより、前述した各推定式の係数が導出される。

自由に会話をする場合を想定した評価結果に推定関数を適用した結果を図４に示す。図４は、品質劣化要因と推定総合品質との関係を示す説明図である。図４において、横軸は実測により求めた総合品質値ＭＯＳｓ、縦軸は品質劣化要因を利用し求めた総合品質値ＭＯＳｅを示している。ほとんどのデータが４５度の太線破線上に位置することから、上記推定式は非常に精度良く総合品質を推定していることがわかる。

［第２の実施の形態］
次に、図５を参照して、本発明の第２の実施の形態にかかる双方向マルチモーダルサービス品質推定装置について説明する。図５は、本発明の第２の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の要部構成を示すブロック図である。

前述した第１の実施の形態では、個別品質推定部３に、映像品質算出部３１、遅延品質算出部３２、および音声品質算出部３３の各個別品質算出部を設け、さらに映像品質算出部３１で、複数の単一劣化要因品質算出手段３１Ａ〜３１Ｃで推定した単一劣化要因品質値から映像メディアに関するメディア品質値を推定する場合を例として説明した。本実施の形態では、このような第１の実施の形態の構成のうち、個別品質推定部３について一般化したものである。なお、他の構成については、図１と同様であり、ここでの詳細な説明は省略する。

本実施の形態では、個別品質推定部３に、少なくとも映像品質算出部３１、遅延品質算出部３２、および音声品質算出部３３を設けるとともに、必要に応じて他のメディア品質や評価項目品質を算出する個別品質算出部３４〜３ｎを設け、各個別品質算出部３１〜３ｎに、それぞれの劣化要因に関する単一劣化要因品質値を推定する単一劣化要因品質算出手段を設けるとともに、これら単一劣化要因品質値を対応する個別品質推定モデルの重み係数に基づき重み付け加算して各メディア品質値や評価項目品質値を推定する個別品質算出手段を設けている。

具体的には、例えば映像品質算出部３１において、映像品質劣化要因ｘ₁〜ｘ_jごとに単一劣化要因品質値を推定する単一劣化要因品質算出手段３１Ａ〜３１Ｊが設けられており、これら単一劣化要因品質算出手段３１Ａ〜３１Ｊで算出された単一劣化要因品質値Ｖ₁（ｘ₁）〜Ｖ_j（ｘ_j）を対応する個別品質推定モデルの重み係数に基づき重み付け加算して映像メディア品質値Ｖ（ｘ₁〜ｘ_j）を推定する映像メディア品質算出手段３１Ｓが設けられている。

このような構成を用いることにより、音声や映像メディアに限らず他のメディアについても、当該メディア品質に関係する複数の単一劣化要因から精度よくメディア品質値を推定でき、メディア品質値だけでなく評価項目品質についても同様の構成により、当該評価項目品質に関係する複数の単一劣化要因から精度よく評価項目品質を推定できる。したがって、より多くのメディア情報を同時に扱う双方向マルチモーダルサービスであっても、その総合品質評価値を推定できる。

本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の構成の要部を示すブロック図である。 実験条件を示す説明図である。 品質劣化要因と推定総合品質との関係を示す説明図である。 本発明の第２の実施の形態にかかる双方向マルチモーダルサービス品質推定装置の要部構成を示すブロック図である。

符号の説明

１０…双方向マルチモーダルサービス品質推定装置（サービス品質推定装置）、１…アプリケーションパラメータ記録部、２…ネットワークパラメータ記録部、３…個別品質推定部、４…サービス品質推定部、１１…アプリケーションパラメータ、１２…ネットワークパラメータ、１４…総合品質評価値、３１…映像品質算出部、３１Ａ〜３１Ｃ，３２Ａ，３３Ａ…単一劣化要因品質算出手段、３１Ｓ…映像メディア品質算出手段、３２…遅延品質算出部、３３…音声品質算出部、４０Ａ…総合品質算出手段。

Claims (8)

1. 音声や映像などの複数のメディアを用いて通信ネットワークを介して接続されたユーザ端末間のコミュニケーションを実現する双方向マルチモーダルサービスについて、これら各メディアの品質劣化要因に基づき当該サービスの総合的な品質を示す総合品質評価値を推定する双方向マルチモーダルサービス品質推定装置であって、
   前記総合品質評価値を推定する総合品質推定モデルを予め記憶する記憶部と、
   当該サービスのサービス品質を劣化させる各種品質劣化要因を示すパラメータを装置外部から取得して前記記憶部に記録するパラメータ記録部と、
   前記記憶部の前記パラメータから当該サービスで用いられるメディアごとのメディア品質値と所定の評価項目に関する評価項目品質値とからなる個別品質値をそれぞれ推定する個別品質推定部と、
   前記記憶部の総合品質推定モデルに基づいて、前記個別品質値から当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定部と
   を備えることを特徴とする双方向マルチモーダルサービス品質推定装置。
2. 請求項１に記載の双方向マルチモーダルサービス品質推定装置において、
   前記サービス品質推定部は、前記記憶部の総合品質推定モデルに基づいて、前記個別品質値を示す項およびこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより前記総合品質評価値を推定することを特徴とする双方向マルチモーダルサービス品質推定装置。
3. 請求項１に記載の双方向マルチモーダルサービス品質推定装置において、
   前記記憶部は、前記個別品質値を推定する個別品質推定モデルを予め記憶し、
   前記個別品質推定部は、前記パラメータからそれぞれ個別の品質劣化要因に関する単一劣化要因品質値を算出する複数の単一劣化要因品質算出手段と、前記記憶部の対応する個別品質推定モデルに基づいて、前記単一劣化要因品質算出手段で算出された前記各単一劣化要因品質値から所望の個別品質値を推定する個別品質算出手段とを有することを特徴とする双方向マルチモーダルサービス品質推定装置。
4. 請求項３に記載の双方向マルチモーダルサービス品質推定装置において、
   前記個別品質推定部は、前記個別品質推定モデルに基づいて、前記各単一劣化要因品質値を示す項およびこれら品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら値を重み付け加算することにより前記個別品質値を推定することを特徴とする双方向マルチモーダルサービス品質推定装置。
5. 音声や映像などの複数のメディアを用いて通信ネットワークを介して接続されたユーザ端末間のコミュニケーションを実現する双方向マルチモーダルサービスについて、これら各メディアの品質劣化要因に基づき当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定装置で用いられる双方向マルチモーダルサービス品質推定方法であって、
   前記総合品質評価値を推定する総合品質推定モデルを記憶部で予め記憶するステップと、
   当該サービスのサービス品質を劣化させる各種品質劣化要因を示すパラメータを装置外部から取得して前記記憶部に記録するパラメータ記録ステップと、
   前記記憶部の前記パラメータから当該サービスで用いられるメディアごとのメディア品質値と所定の評価項目に関する評価項目品質値とからなる個別品質値をそれぞれ推定する個別品質推定ステップと、
   前記記憶部の総合品質推定モデルに基づき、前記個別品質値から当該サービスの総合的な品質を示す総合品質評価値を推定するサービス品質推定ステップと
   を備えることを特徴とする双方向マルチモーダルサービス品質推定方法。
6. 請求項５に記載の双方向マルチモーダルサービス品質推定方法において、
   前記サービス品質推定ステップは、前記記憶部の総合品質推定モデルに基づいて、前記個別品質値を示す項とこれら個別品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら項の値を重み付け加算することにより前記総合品質評価値を推定することを特徴とする双方向マルチモーダルサービス品質推定方法。
7. 請求項５に記載の双方向マルチモーダルサービス品質推定方法において、
   前記個別品質値を推定する個別品質推定モデルを前記記憶部で予め記憶するステップをさらに備え、
   前記個別品質推定ステップは、前記パラメータからそれぞれ個別の品質劣化要因に関する単一劣化要因品質値を算出する複数の単一劣化要因品質算出ステップと、前記記憶部の対応する個別品質推定モデルに基づいて、前記単一劣化要因品質算出ステップで算出された前記各単一劣化要因品質値から所望の個別品質値を推定する個別品質算出ステップとを有する
   ことを特徴とする双方向マルチモーダルサービス品質推定方法。
8. 請求項７に記載の双方向マルチモーダルサービス品質推定方法において、
   前記個別品質推定ステップは、前記記憶部の個別品質推定モデルに基づいて、前記各単一劣化要因品質値を示す項およびこれら品質値の交互作用を示す項ごとに個別の重み係数を用いて、これら値を重み付け加算することにより前記個別品質値を推定することを特徴とする双方向マルチモーダルサービス品質推定方法。
   

Images