WO2007029731A1 - 映像コミュニケーション品質推定装置、方法、およびプログラム - Google Patents

Abstract

　マルチモーダル品質推定部(11)により、音声品質評価値(21A)と映像品質評価値(21B)に基づいてマルチモーダル品質値(23A)を推定するとともに、遅延品質劣化量推定部(12)により、音声遅延時間(22A)と映像遅延時間(22B)に基づいて遅延品質劣化量(23B)を推定し、映像コミュニケーション品質推定部(13)により、マルチモーダル品質値(23A)と遅延品質劣化量(23B)とに基づいて映像コミュニケーション品質値(24)を推定する。

Description

明 細 書

映像コミュニケーション品質推定装置、方法、およびプログラム

技術分野

[0001] 本発明は、通信品質推定技術に関し、特に音声メディアおよび映像メディアを複合 して双方向にやり取りする映像コミュニケーションに関する品質を推定する技術に関 する。

背景技術

[0002] 従来、インターネットへのアクセス回線の高速 ·広帯域ィ匕に伴い、例えばテレビ電話

Z会議などの映像コミュニケーションサービス、コラボレーションサービスなど、音声メ ディアおよび映像メディアを複合した双方向マルチモーダルサービスが注目を集め ている。

[0003] このようなサービスで利用されるインターネットは、必ずしも通信品質の保証されな V、ネットワークであるため、音声メディアおよび映像メディアを複合した通信を行う場 合、ユーザ端末間を結ぶ通信路の使用可能帯域が狭かったり、ネットワークが輻輳し たりすると、音声や映像に対して、受信側端末でユーザが実感するユーザ体感品質 が劣化してしまう。

具体的には、音声に品質劣化が加わると、途切れ '雑音'応答の遅れ等として知覚 され、映像に品質劣化が加わると、ぼけ'にじみ ·モザイク状の歪 ·ぎくしゃく感'応答 の遅れなどの現象として知覚される。

[0004] また、音声メディアおよび映像メディア信号送信時の処理時間、ネットワークにおけ る遅延時間、さらには音声メディアおよび映像メディア信号受信時の処理時間に起 因する遅延時間のそれぞれによって、音声メディアと映像メディアとの同期による応 答の遅れ、つまり映像コミュニケーションサービス応答の遅れが知覚されたり、応答時 間の遅れのズレによって音声メディアと映像メディアとの同期外れが知覚されたりする 場合がある。この際、音声メディアおよび映像メディア信号送信時の処理時間として は、音声メディアおよび映像メディアの符号ィ匕処理時間や送信バッファ時間などがあ る。また、ネットワークにおける遅延時間としては、ネットワークを構成するルータ等の 処理時間、通信者間のネットワークの物理的距離などがある。また、音声メディアおよ び映像メディア信号受信時の処理時間としては、受信バッファ時間、音声メディアお よび映像メディアの復号時間などがある。

[0005] このようなサービスを品質よく提供するためには、サービス提供に先立った品質設 計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品 質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。 音声品質を推定する技術については、例えば、国際標準化機関 ITU— T Gnternat lonal elecommunication Union felecommunication Standardization Sector^勧告 P. 862において、音声品質客観評価尺度 PESQ (Perceptual Evaluation of Speech Qu ality)が規定されている。一方、映像品質を推定する技術についても、 ITU— T勧告 J . 144などにおいて映像品質客観評価尺度が記載されており、この後も VQEG (Vide 0 Quality Experts Group)などで継続して議論が行われている（例えば、 www.its.bldr aoc.gov/vqeg/など参照)。

[0006] これらの客観品質評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同 程度の推定誤差で主観品質を推定可能にしている。このような背景のもと、発明者ら は、テレビ電話 z会議等の双方向マルチモーダルサービスを対象として、上記の客 観品質評価尺度あるいは主観品質評価実験により求めた、音声メディアあるいは映 像メディア等の個別メディアの品質と、各メディアの伝送遅延時間による影響を考慮 したマルチモーダルサービスの総合的な品質評価尺度を求める手法を提案した (例 えば、特開 2005— 244321号公報など参照）。

発明の開示

発明が解決しょうとする課題

[0007] テレビ電話 Z会議等の双方向マルチモーダルサービスの場合には、各メディアの 入力から出力までの絶対的な遅延時間や、メディア間の相対的な遅延時間のズレに よる同期外れも、サービスの品質を劣化させる原因となり得る。しかしながら、前述し た従来技術では、これらの品質要因を総合的に考慮した品質評価尺度として考慮さ れていないという問題点があった。特に、メディア間の同期外れによる品質劣化の度 合いは、映像メディアを符号ィ匕して得た各フレームのフレームレートに左右されるもの の、従来技術ではフレームレートが標準値 30 [フレーム/ sec]で一定と想定しているた め、フレームレートがこのような標準値とは異なる場合には総合品質の推定精度が低 下するという問題点があった。

[0008] 例えば、フレームレートが低 、場合、音声メディアと映像メディアに相対的なズレが 生じていても大きな品質劣化とは知覚されないが、フレームレートが高くなるに伴って その品質劣化は顕著となる。近年の携帯電話を用いたテレビ電話サービス等に見ら れるように、フレームレートが 30 [フレーム/ sec]を実現できないシステムは多く存在し ており、フレームレートの変ィ匕も考慮して総合的なマルチモーダル品質を求めること は非常に重要な課題である。

[0009] この他，関連が高い技術として、例えば音声品質と映像品質力も総合品質を求める 方法が提案されているが（例えば、特開平 8— 289333号公報、特表 2004— 52397 8号公報など参照）、テレビ放送のような片方向の音声メディアおよび映像メディアの 放送あるいは配信サービスを前提としており、双方向性すなわち遅延時間やメディア 間の同期外れを考慮していないため上記の問題を解決できない。また、音声メディア と映像メディアの品質と両メディア間の同期外れを考慮して総合品質を推定する手法 が提案されているが（例えば、特表 2002— 519960号公報など参照）、こちらも双方 向性すなわち遅延時間を考慮して 、な ヽため上記の問題を解決できな 、。

[0010] さらに、音声メディアと映像メディアの品質と遅延時間および同期外れを考慮して総 合品質を求めるためのフレームワークも提案されているが（例えば、特開 2006— 12 8972号公報など参照）、前述したように、例えばメディア間同期外れの影響とフレー ムレート低下の相互作用を考慮できない等の問題が残されている。一方、音声や映 像信号の品質評価システムが提案されているが（例えば、特開 2001— 298428号 公報など参照）、ユーザが享受する音声や映像の品質をどのように取り扱って総合品 質を導出するのかにつ 、ては全く言及して 、な 、。

[0011] 本発明はこのような課題を解決するためのものであり、音声メディアおよび映像メデ ィァを複合して双方向にやり取りする映像コミュニケーションに関する品質を十分な精 度で推定することができる映像コミュニケーション品質推定装置、方法、およびプログ ラムを提供することを目的として ヽる。 課題を解決するための手段

[0012] このような目的を達成するために、本発明にかかる映像コミュニケーション品質推定 装置は、ネットワークを介して接続された通信端末間で音声メディアおよび映像メディ ァを複合して双方向にやり取りする映像コミュニケーションに関する品質を推定する 映像コミュニケーション品質推定装置であって、通信端末で出力された音声メディア に対する品質評価値である音声メディア品質評価値と、通信端末で出力された映像 メディアに対する品質評価値である映像メディア品質評価値とに基づ!/ヽて、音声メデ ィァと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル品質 値を推定するマルチモーダル品質推定部と、音声メディアが通信端末間で入力され てから出力されるまでの遅延時間である音声遅延時間および映像メディアが通信端 末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基づいて、 音声メディアと映像メディアの遅延により生ずる遅延品質劣化量を推定する遅延品質 劣化量推定部と、マルチモーダル品質推定部で推定されたマルチモーダル品質値 と遅延品質劣化量推定部で推定された遅延品質劣化量とに基づいて、映像コミュ二 ケーシヨンの品質を推定する映像コミュニケーション品質推定部とを備えている。

[0013] また、本発明にかかる映像コミュニケーション品質推定方法は、ネットワークを介し て接続された通信端末間で音声メディアおよび映像メディアを複合して双方向にやり 取りする映像コミュニケーションに関する品質を推定する映像コミュニケーション品質 推定装置で用いられる映像コミュニケーション品質推定方法であって、マルチモーダ ル品質推定部により、通信端末で出力された音声メディアに対する品質評価値であ る音声メディア品質評価値と、通信端末で出力された映像メディアに対する品質評価 値である映像メディア品質評価値とに基づ ヽて、音声メディアと映像メディアを複合し た複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモーダ ル品質推定ステップと、遅延品質劣化量推定部により、音声メディアが通信端末間で 入力されてから出力されるまでの遅延時間である音声遅延時間および映像メディア が通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に 基づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量を推定す る絶対遅延品質劣化量推定ステップと、映像コミュニケーション品質推定部により、マ ルチモーダル品質推定部で推定されたマルチモーダル品質値と遅延品質劣化量推 定部で推定された遅延品質劣化量とに基づいて、映像コミュニケーションの品質を推 定する映像コミュニケーション品質推定ステップとを備えている。

[0014] また、本発明にかかるプログラムは、ネットワークを介して接続された通信端末間で 音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュ-ケーシ ヨンに関する品質を推定する映像コミュニケーション品質推定装置のコンピュータに、 マルチモーダル品質推定部により、通信端末で出力された音声メディアに対する品 質評価値である音声メディア品質評価値と、通信端末で出力された映像メディア〖こ 対する品質評価値である映像メディア品質評価値とに基づいて、音声メディアと映像 メディアを複合した複合メディアの品質評価値であるマルチモーダル品質値を推定 するマルチモーダル品質推定ステップと、遅延品質劣化量推定部により、音声メディ ァが通信端末間で入力されて力 出力されるまでの遅延時間である音声遅延時間 および映像メディアが通信端末間で入力されてから出力されるまでの遅延時間であ る映像遅延時間に基づいて、音声メディアと映像メディアの遅延により生ずる遅延品 質劣化量を推定する絶対遅延品質劣化量推定ステップと、映像コミュニケーション品 質推定部により、マルチモーダル品質推定部で推定されたマルチモーダル品質値と 遅延品質劣化量推定部で推定された遅延品質劣化量とに基づいて、映像コミュニケ ーシヨンの品質を推定する映像コミュニケーション品質推定ステップとを実行させる。 発明の効果

[0015] 本発明によれば、マルチモーダル品質推定部により、音声品質評価値と映像品質 評価値に基づいてマルチモーダル品質値が推定されるとともに、遅延品質劣化量推 定部により、音声遅延時間と映像遅延時間に基づいて遅延品質劣化量が推定され、 映像コミュニケーション品質推定部により、マルチモーダル品質値と遅延品質劣化量 とに基づいて映像コミュニケーション品質値が推定される。このため、音声メディアや 映像メディアの遅延による品質劣化を考慮した映像コミュニケーション品質値を推定 することができ、音声メディアおよび映像メディアを複合して双方向にやり取りする映 像コミュニケーションに関する品質を十分な精度で推定することができる。

図面の簡単な説明 [図 1]図 1は、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装 置の構成を示すブロック図である。

[図 2]図 2は、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装 置の全体処理動作を示すフローチャートである。

[図 3]図 3は、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装 置のマルチモーダル品質推定処理を示すフローチャートである。

[図 4]図 4は、マルチモーダル品質推定モデルの特性例である。

[図 5]図 5は、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装 置の遅延品質劣化量推定処理を示すフローチャートである。

[図 6]図 6は、遅延品質劣化量推定モデルの特性例である。

[図 7]図 7は、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装 置の映像コミュニケーション品質推定処理を示すフローチャートである。

[図 8]図 8は、映像コミュニケーション品質推定モデルの特性例である。

[図 9]図 9は、本実施の形態で得られた映像コミュニケーション品質推定値の推定結 果を示すグラフである。

[図 10]図 10は、本発明の第 2の実施の形態にカゝかる映像コミュニケーション品質推 定装置の要部の構成を示す説明図である。

[図 11]図 11は、本発明の第 2の実施の形態にカゝかる映像コミュニケーション品質推 定装置の遅延品質劣化量推定処理を示すフローチャートである。

[図 12]図 12は、絶対遅延品質劣化量推定の特性例である。

[図 13]図 13は、相対遅延品質劣化量推定の特性例である。

[図 14]図 14は、遅延品質劣化量推定の特性例である。

[図 15]図 15は、本発明の第 3の実施の形態にカゝかる映像コミュニケーション品質推 定装置の要部の構成を示す説明図である。

[図 16]図 16は、本発明の第 3の実施の形態にカゝかる映像コミュニケーション品質推 定装置の遅延品質劣化量推定処理を示すフローチャートである。

[図 17]図 17は、相対遅延品質劣化量推定の特性例である。

[図 18]図 18は、本発明の第 4の実施の形態にカゝかる映像コミュニケーション品質推 定装置の要部の構成を示す説明図である。

[図 19]図 19は、本発明の第 4の実施の形態にカゝかる映像コミュニケーション品質推 定装置の遅延品質劣化量推定処理を示すフローチャートである。

[図 20]図 20は、相対遅延品質劣化量推定の特性例である。

[図 21]図 21は、傾き係数推定の特性例である。

[図 22]図 22は、本発明の第 5の実施の形態にカゝかる映像コミュニケーション品質推 定装置の要部の構成を示す説明図である。

[図 23]図 23は、本発明の第 5の実施の形態にカゝかる映像コミュニケーション品質推 定装置の遅延品質劣化量推定処理を示すフローチャートである。

[図 24]図 24は、相対遅延品質劣化量推定の特性例である。

[図 25]図 25は、傾き係数推定の特性例である。

[図 26]図 26は、本発明の第 6の実施の形態にカゝかる映像コミュニケーション品質推 定装置で用いる絶対遅延品質劣化量推定モデルの特性例である。

[図 27]図 27は、本発明の第 7の実施の形態にカゝかる映像コミュニケーション品質推 定装置で用いる相対遅延品質劣化量推定モデルの特性例である。

[図 28]図 28は、本発明の第 7の実施の形態にカゝかる映像コミュニケーション品質推 定装置で用いる相対遅延品質劣化量推定モデルの他の特性例である。

[図 29]図 29は、本発明の第 7の実施の形態にカゝかる映像コミュニケーション品質推 定装置で用いる相対遅延品質劣化量推定モデルの他の特性例である。

発明を実施するための最良の形態

[0017] 次に、本発明の実施の形態について図面を参照して説明する。

[第 1の実施の形態]

まず、図 1を参照して、本発明の第 1の実施の形態に力かる映像コミュニケーション 品質推定装置について説明する。図 1は、本発明の第 1の実施の形態にカゝかる映像 コミュニケーション品質推定装置の構成を示すブロック図である。

[0018] 映像コミュニケーション品質推定装置 1は、入力された情報を演算処理して出力す る情報処理装置力 なり、ネットワークを介して接続された通信端末間で音声メディア および映像メディアを複合して双方向にやり取りする映像コミュニケーションに関する 品質を推定する。

この映像コミュニケーション品質推定装置 1には、主な機能部として、マルチモーダ ル品質推定部 11、遅延品質劣化量推定部 12、および映像コミュニケーション品質推 定部 13が設けられている。

[0019] 本実施の形態は、マルチモーダル品質推定部 11により、通信端末で出力された音 声メディアに対する品質評価値である音声品質評価値 21Aと、通信端末で出力され た映像メディアに対する品質評価値である映像品質評価値 21Bとに基づいて、音声 メディアと映像メディアを複合した複合メディアの品質評価値であるマルチモーダル 品質値 23Aを推定するようにしたものである。

[0020] また、遅延品質劣化量推定部 12により、音声メディアが通信端末間で入力されて 力 出力されるまでの遅延時間である音声遅延時間 22Aおよび映像メディアが通信 端末間で入力されてから出力されるまでの遅延時間である映像遅延時間 22Bに基 づいて、音声メディアと映像メディアの遅延により生ずる遅延品質劣化量 23Bを推定 するようにしたものである。

そして、映像コミュニケーション品質推定部 13により、マルチモーダル品質推定部 1 1で推定されたマルチモーダル品質値 23Aと遅延品質劣化量推定部 12で推定され た遅延品質劣化量 23Bとに基づいて、映像コミュニケーション品質値 24を推定する ようにしたものである。

[0021] 次に、図 1を参照して、映像コミュニケーション品質推定装置 1の各機能部について 詳細に説明する。

[マルチモーダル品質推定部]

マルチモーダル品質推定部 11は、通信端末で出力された音声メディアに対する品 質評価値である音声品質評価値 21Aと、通信端末で出力された映像メディアに対す る品質評価値である映像品質評価値 21Bとに基づ ヽて、音声メディアと映像メディア を複合した複合メディアの品質評価値であるマルチモーダル品質値 23Aを推定する 機能を有している。

[0022] マルチモーダル品質推定部 11には、主な機能手段として、記憶部 11 Aとマルチモ 一ダル品質算出部 11Bが設けられている。 記憶部 11Aは、音声品質評価値 21Aおよび映像品質評価値 21Bとマルチモーダ ル品質値 23Aとの関係を示すマルチモーダル品質推定モデル 31を予め記憶する 機能を有している。

マルチモーダル品質算出部 11Bは 記憶部 11 Aのマルチモーダル品質推定モデ ル 31に基づいて、音声品質評価値 21Aおよび映像品質評価値 21Bに対応するマ ルチモーダル品質値 23Aを算出する機能を有して 、る。

[0023] 音声品質評価値 21Aは、一方の通信端末力も送信された音声メディアを他方の通 信端末で受信して再生した際に、再生された音声メディアに対してユーザが実感す るユーザ体感品質である。また、映像品質評価値 21Bは、一方の通信端末から送信 された映像メディアを他方の通信端末で受信して再生した際に、再生された映像メデ ィァに対してユーザが実感するユーザ体感品質である。これら品質評価値にっ 、て は、実際に行われた映像コミュニケーションを評価あるいは推定して得ることができる

[0024] [遅延品質劣化量推定部]

遅延品質劣化量推定部 12は、音声メディアが通信端末間で入力されて力 出力さ れるまでの遅延時間である音声遅延時間 22Aおよび映像メディアが通信端末間で 入力されてから出力されるまでの遅延時間である映像遅延時間 22Bに基づいて、音 声メディアと映像メディアの遅延により生ずる遅延品質劣化量 23Bを推定する機能を 有している。

[0025] 遅延品質劣化量推定部 12には、主な機能手段として、記憶部 12Aと遅延品質劣 化量算出部 12Bが設けられて 、る。

記憶部 12Aは、音声遅延時間 22Aおよび映像遅延時間 22Bと遅延品質劣化量 2 3Bとの関係を示す遅延品質劣化量推定モデル 32を予め記憶する機能を有している 遅延品質劣化量算出部 12Bは、記憶部 12Aの遅延品質劣化量推定モデル 32に 基づ!ヽて、音声遅延時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化 量 23Bを算出する機能を有して 、る。

[0026] 音声遅延時間 22Aは、音声メディアが一方の通信端末で入力されて力 他方の通 信端末で出力されるまでの遅延時間である。また、映像遅延時間 22Bは、映像メディ ァが一方の通信端末で入力されて力 他方の通信端末で出力されるまでの遅延時 間である。

[0027] 音声遅延時間 22A、映像遅延時間 22Bを構成する具体的な遅延時間としては、音 声メディアおよび映像メディア信号送信時の処理時間、ネットワークにおける遅延時 間、さらには音声メディアおよび映像メディア信号受信時の処理時間がある。この際、 音声メディアおよび映像メディア信号送信時の処理時間としては、音声メディアおよ び映像メディアの符号ィ匕処理時間や送信バッファ時間などがある。また、ネットワーク における遅延時間としては、ネットワークを構成するルータ等の処理時間、通信者間 のネットワークの物理的距離などがある。また、音声メディアおよび映像メディア信号 受信時の処理時間としては、受信バッファ時間、音声メディアおよび映像メディアの 復号時間などがある。

[0028] 本実施の形態では、これら音声遅延時間 22Aおよび映像遅延時間 22Bと遅延品 質劣化量 23Bとの関係を示す遅延品質劣化量推定モデル 32を試験により予め導出 して記憶部 12Aに格納しておき、遅延品質劣化量推定部 12により、記憶部 12Aの 遅延品質劣化量推定モデル 32に基づいて、新たに計測された音声遅延時間 22A および映像遅延時間 22Bに対応する遅延品質劣化量 23Bを算出している。

[0029] [映像コミュニケーション品質推定部]

映像コミュニケーション品質推定部 13は、マルチモーダル品質推定部 11で推定さ れたマルチモーダル品質値 23Aと遅延品質劣化量推定部 12で推定された遅延品 質劣化量 23Bの交互作用を考慮して、双方向マルチモーダルサービスで実現される 映像コミュニケーションの品質値 24を推定する機能を有している。

[0030] 映像コミュニケーション品質推定部 13には、主な機能手段として、記憶部 13Aと映 像コミュニケーション品質算出部 13Bが設けられて 、る。

記憶部 13Aは、マルチモーダル品質値 23Aおよび遅延品質劣化量 23Bと映像コミ ュ-ケーシヨン品質値 24との関係を示す映像コミュニケーション品質推定モデル 33 を予め記憶する機能を有して 、る。

映像コミュニケーション品質算出部 13Bは、記憶部 13Aの映像コミュニケーション品 質推定モデル 33に基づ 、て、マルチモーダル品質値 23Aおよび遅延品質劣化量 2 3Bに対応する映像コミュニケーション品質値 24を算出する機能を有している。

[0031] これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハード ディスクなどの記憶装置力も構成されている。また、各種演算処理を行う演算処理部 (コンピュータ）は、 CPUとその周辺回路から構成されており、上記記憶部のプロダラ ム（図示せず)を読み込んで実行することにより、上記ハードウェアとプログラムとを協 働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機 能部ごとにそれぞれ個別に設けてもよぐ各機能部で共用してもよい。

[0032] [第 1の実施の形態の動作]

次に、本発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装置の 動作について、詳細に説明する。

[0033] [全体処理動作]

まず、図 2を参照して、本発明の第 1の実施の形態に力かる映像コミュニケーション 品質推定装置の映像コミュニケーション品質推定動作について説明する。図 2は、本 発明の第 1の実施の形態に力かる映像コミュニケーション品質推定装置の全体処理 動作を示すフローチャートである。

[0034] ここでは、通信端末間で行われた任意の映像コミュニケーションに関する品質情報 として、音声品質評価値 21A、映像品質評価値 21B、音声遅延時間 22A、および映 像遅延時間 22Bが、外部装置、記録媒体、通信ネットワーク、あるいはキーボード（ 図示せず)から入力されたものとし、これら品質情報に基づいて当該映像コミュニケ ーシヨンに関する品質値を推定する場合について説明する。

[0035] 映像コミュニケーション品質推定装置 1は、品質情報の入力や実行開始を示すォ ペレータ操作を契機として、図 2の全体処理を開始する。

[0036] まず、映像コミュニケーション品質推定装置 1は、マルチモーダル品質推定部 11に より、マルチモーダル品質推定ステップを実行することにより、音声品質評価値 21A および映像品質評価値 21Bに対応するマルチモーダル品質値 23Aを推定する (ス テツプ 100)。

これと並行して、映像コミュニケーション品質推定装置 1は、遅延品質劣化量推定 部 12により、遅延品質劣化量推定ステップを実行することにより、音声遅延時間 22A および映像遅延時間 22Bに対応する遅延品質劣化量 23Bを推定する (ステップ 110

) o

[0037] この後、映像コミュニケーション品質推定装置 1は、映像コミュニケーション品質推 定部 13により、映像コミュニケーション品質推定ステップを実行することにより、マル チモーダル品質値 23Aおよび遅延品質劣化量 23Bに対応する映像コミュニケーショ ン品質値 24を推定し (ステップ 120)、一連の全体処理動作を終了する。

なお、マルチモーダル品質推定ステップと遅延品質劣化量推定ステップは、前述 のように並行して実行してもよぐこれらステップを順に実行してもよ 、。

[0038] [マルチモーダル品質推定動作]

次に、図 3を参照して、本発明の第 1の実施の形態に力かる映像コミュニケーション 品質推定装置のマルチモーダル品質推定動作について説明する。図 3は、本発明 の第 1の実施の形態に力かる映像コミュニケーション品質推定装置のマルチモーダ ル品質推定処理を示すフローチャートである。

映像コミュニケーション品質推定装置 1のマルチモーダル品質推定部 11は、図 2の ステップ 100におけるマルチモーダル品質推定ステップにおいて、図 3のマルチモー ダル品質推定処理を実行する。

[0039] まず、マルチモーダル品質推定部 11は、マルチモーダル品質算出部 11Bにより、 外部力 入力された音声品質評価値 21Aと映像品質評価値 21Bを取得する (ステツ プ 101)。次に、マルチモーダル品質算出部 11Bは、記憶部 11 A力 マルチモーダ ル品質推定モデル 31を示すモデル係数を読み出し (ステップ 102)、このマルチモ 一ダル品質推定モデル 31に基づき、音声品質評価値 21Aと映像品質評価値 21B に対応するマルチモーダル品質値 23Aを算出する (ステップ 103)。

[0040] 図 4は、マルチモーダル品質推定モデルの特性例である。本発明にお 、て、音声メ ディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに 関する品質のうち、映像メディアや音声メディアの遅延による品質劣化を考慮しな ヽ 場合の品質をマルチモーダル品質値 23Aという。

図 4に示すように、マルチモーダル品質値 23Aは、音声品質評価値 MOSaを一定 とした場合は映像品質評価値 MOSvの増加に応じて単調増加し、映像品質評価値 MOSvを一定とした場合は音声品質評価値 MOSaの増加に応じて単調増加する傾 向がある。

[0041] したがって、マルチモーダル品質値 23Aは、音声品質評価値 21Aと映像品質評価 値 21Bの交互作用を示す数式で表すことができる。音声品質評価値 21 Aを MOSaと し、映像品質評価値 21Bを MOSvとし、 α ΐ , β 1, y 1, δ 1をそれぞれ定数とし、マ ルチモーダル品質値 23Αを MOSmmとした場合、 MOSmmは次の式（1)により推 定できる。

[0042] [数 1]

MOSmm = al · MOSa + βΐ · MOSv+ γ1· MOSa-MOSv+ δΐ

[0043] この際、マルチモーダル品質値 23Aについて、 1〜5の数値をとる標準的な MOS 値（Mean Opinion Score :平均オピニオン評点）で示すために正規化処理を行う。 a, bのうちいずれ力 vj、さい値を選択する関数を min (_a, b)とし、 a, bのうちいずれか大き い値を選択する関数を max (a, b)とした場合、 MOSmmは次の式（2)により正規ィ匕 できる。

[0044] [数 2]

[0045] この後、マルチモーダル品質算出部 11Bは、算出したマルチモーダル品質値 23A を映像コミュニケーション品質推定部 13へ出力し (ステップ 104)、一連のマルチモー ダル品質推定処理を終了する。

[0046] [遅延品質劣化量推定動作]

次に、図 5を参照して、本発明の第 1の実施の形態に力かる映像コミュニケーション 品質推定装置の遅延品質劣化量推定動作について説明する。図 5は、本発明の第 1の実施の形態にかかる映像コミュニケーション品質推定装置の遅延品質劣化量推 定処理を示すフローチャートである。

映像コミュニケーション品質推定装置 1の遅延品質劣化量推定部 12は、図 2のステ ップ 110における遅延品質劣化量推定ステップにおいて、図 5の遅延品質劣化量推 定処理を実行する。

[0047] まず、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、外部から 入力された音声遅延時間 22Aと映像遅延時間 22Bを取得する (ステップ 111)。次に 、遅延品質劣化量算出部 12Bは、記憶部 12Aから遅延品質劣化量推定モデル 32 を示すモデル係数を読み出し (ステップ 112)、この遅延品質劣化量推定モデル 32 に基づき、音声遅延時間 22Aと映像遅延時間 22Bに対応する遅延品質劣化量 23B を算出する (ステップ 113)。

[0048] 図 6は、遅延品質劣化量推定モデルの特性例である。本発明にお ヽて、音声メディ ァおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関す る品質のうち、映像メディアや音声メディアの遅延による品質劣化量を遅延品質劣化 量 23Bという。

図 6に示すように、音声遅延時間 Daを一定とした場合、遅延品質劣化量 Davは、 映像遅延時間 Dvの増加に応じて単調増加して所定の最大値に達し、映像遅延時間 Dvのさらなる増加に応じて単調減少する凸型の特性を有している。

また、映像遅延時間 Dvが一定の場合、遅延品質劣化量 Davは、音声遅延時間 Da の増加に応じて単調増加して所定の最大値に達し、音声遅延時間 Daのさらなる増 加に応じて単調減少する凸型の特性を有して!/ヽる。

[0049] したがって、遅延品質劣化量 23Bは、音声遅延時間 22Aと映像遅延時間 22Bを変 数とする関数式で表すことができる。音声遅延時間 22Aを Daとし、映像遅延時間 22 Bを Dvとし、音声遅延時間 22Aおよび映像遅延時間 22Bと遅延品質劣化量 23Bの 対応関係を示す関数式を f (Da, Dv)とし、 a, bのうちいずれカゝ小さい値を選択する 関数を min (a, b)とし、 a, bのうちいずれか大きい値を選択する関数を max (a, b)と し、遅延品質劣化量 23Bを Davとした場合、 MOS値の範囲 1〜5に正規化した Dav は次の式（3)により推定できる。

[0050] [数 3]

Dav = min[5， max{/ {Da, v),l}] ·'·(3) , [0051] この後、遅延品質劣化量算出部 12Bは、算出した遅延品質劣化量 23Βを映像コミ ュ-ケーシヨン品質推定部 13へ出力し (ステップ 114)、一連の遅延品質劣化量推定 処理を終了する。

[0052] [映像コミュニケーション品質推定]

次に、図 7を参照して、本発明の第 1の実施の形態に力かる映像コミュニケーション 品質推定装置のマルチモーダル品質推定動作について説明する。図 7は、本発明 の第 1の実施の形態に力かる映像コミュニケーション品質推定装置の映像コミュニケ ーシヨン品質推定処理を示すフローチャートである。

映像コミュニケーション品質推定装置 1の映像コミュニケーション品質推定部 13は、 図 2のステップ 120における映像コミュニケーション品質推定ステップにおいて、図 7 の映像コミュニケーション品質推定処理を実行する。

[0053] まず、映像コミュニケーション品質推定部 13は、映像コミュニケーション品質算出部 13Bにより、マルチモーダル品質推定部 11で推定されたマルチモーダル品質値 23 Aと遅延品質劣化量推定部 12で推定された遅延品質劣化量 23Bを取得する (ステツ プ 121)。次に、映像コミュニケーション品質算出部 13Bは、記憶部 13Aから映像コミ ュ-ケーシヨン品質推定モデル 33を示すモデル係数を読み出し (ステップ 122)、こ の映像コミュニケーション品質推定モデル 33に基づき、マルチモーダル品質値 23A と遅延品質劣化量 23Bに対応する映像コミュニケーション品質値 24を算出する (ステ ップ 123)。

[0054] 図 8は、映像コミュニケーション品質推定モデルの特性例である。本発明にお 、て、 音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュ-ケーシ ヨンに関する品質のうち、映像メディアや音声メディアの遅延による品質劣化量を考 慮した品質を映像コミュニケーション品質値 24という。

図 8に示すように、映像コミュニケーション品質値 MOSallは、マルチモーダル品質 値 MOSmmを一定とした場合は遅延品質劣化量 Davの増加に応じて単調減少し、 遅延品質劣化量 Davを一定とした場合はマルチモーダル品質値 MOSmmの増加 に応じて単調増加する傾向がある。

[0055] したがって、映像コミュニケーション品質値 24は、マルチモーダル品質値 23Aと遅 延品質劣化量 23Bの交互作用を示す数式で表すことができる。マルチモーダル品 質値 23Aを MOSmmとし、遅延品質劣ィ匕量 23Bを Davとし、 a 2, β 2， γ 2, δ 2を それぞれ定数とし、映像コミュニケーション品質値 24を MOSallとした場合、 MOSall は次の式 (4)により推定できる。

[0056] 画

MOSall = α 2 · MOSmm + β2 · Dav + γ 2 · MOSmm- Dav + 62 …

[0057] この際、映像コミュニケーション品質値 24について、 1〜5の数値をとる標準的な M OS値で示すために正規化処理を行う。 a, bのうちいずれか小さい値を選択する関数 を min (a, b)とし、 a, bのうちいずれか大きい値を選択する関数を max (a, b)とした 場合、 MOSallは次の式（5)により正規化できる。

[0058] [数 5]

MOSall = min{5,max( O5i2/ )} -(5)

[0059] この後、映像コミュニケーション品質算出部 13Bは、算出した映像コミュニケーショ ン品質値 24を、装置外部、記録媒体、通信ネットワーク、記憶部、あるいは表示画面 (図示せず)へ出力し (ステップ 124)、一連の映像コミュニケーション品質推定処理を 終了する。

[0060] このように、本実施の形態は、マルチモーダル品質推定部 11により、音声品質評価 値 21Aと映像品質評価値 21Bに基づいてマルチモーダル品質値 23Aを推定すると ともに、遅延品質劣化量推定部 12により、音声遅延時間 22Aと映像遅延時間 22B に基づいて遅延品質劣化量 23Bを推定し、映像コミュニケーション品質推定部 13に より、マルチモーダル品質値 23Aと遅延品質劣化量 23Bとに基づいて映像コミュ二 ケーシヨン品質値 24を推定するようにしたので、音声メディアや映像メディアの個別メ ディアの品質評価値と、音声メディアや映像メディアの遅延による品質劣化を考慮し た映像コミュニケーション品質値 24を推定でき、音声メディアおよび映像メディアを複 合して双方向にやり取りする映像コミュニケーションに関する品質を十分な精度で推 定することができる。

[0061] また、遅延品質劣化量推定部 12において、音声遅延時間および映像遅延時間と 遅延品質劣化量との関係を示す遅延品質劣化量推定モデル 32に基づいて、音声 遅延時間 22Aと映像遅延時間 22Bに対応する遅延品質劣化量 23Bを推定するよう にしたので、正確かつ容易に遅延品質劣化量 23Bを推定できる。

[0062] 図 9は、本実施の形態で得られた映像コミュニケーション品質推定値の推定結果を 示すグラフである。図 9において、横軸は、本実施の形態で得られた映像コミュニケ ーシヨン品質推定値 (MOS値)を示し、縦軸は、推定対象とした各映像コミュニケ一 シヨンについて実際にオピニオン評価した結果である映像コミュニケーション品質実 測値 (MOS値）を示して 、る。

本実施の形態で得られた映像コミュニケーション品質推定値と実測値とが、グラフ の対角線上にプロットされている。この場合、決定係数は 0. 91となり、高い相関が得 られていることがわかる。また、実測値の 95%信頼区間の平均値が 0. 31であるのに 対して、推定値の平均二乗誤差平方根 (RMSE:Root Mean Square Error)は 0. 16で あり、実用上十分な推定精度を有していることがわ力る。

[0063] また、遅延品質劣化量推定モデル 32として、音声遅延時間 Daを一定とした場合、 遅延品質劣化量 Davが映像遅延時間 Dvの増加に応じて単調増加して所定の最大 値に達し、映像遅延時間 Dvのさらなる増加に応じて単調減少する凸型の特性を有し 、映像遅延時間 Dvが一定の場合、遅延品質劣化量 Davが音声遅延時間 Daの増加 に応じて単調増加して所定の最大値に達し、音声遅延時間 Daのさらなる増加に応じ て単調減少する凸型の特性を用いるようにしたので、音声メディアや映像メディアの 遅延による品質劣化に関する人間の視覚特性および聴覚特性に応じた品質劣化量 を、正確かつ容易に推定できる。

[0064] [第 2の実施の形態]

次に、図 10を参照して、本発明の第 2の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 10は、本発明の第 2の実施の形態にかかる 映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図

1と同じまたは同等部分には同一符号を付してある。

[0065] 第 1の実施の形態では、遅延品質劣化量推定部 12において、音声遅延時間 22A と映像遅延時間 22Bに対応する遅延品質劣化量 23Bを推定する際、音声遅延時間 および映像遅延時間と遅延品質劣化量との関係を示す遅延品質劣化量推定モデル

32に基づいて、遅延品質劣化量 23Bを直接的に推定する場合を例として説明した。

[0066] 本実施の形態では、音声遅延時間 22Aと映像遅延時間 22Bから、音声メディアと 映像メディアの絶対的な遅延による品質劣化を示す絶対遅延品質劣化量と、音声メ ディアと映像メディアの相対的な遅延による品質劣化を示す相対遅延品質劣化量と を求め、これら絶対遅延品質劣化量と相対遅延品質劣化量から遅延品質劣化量 23 Bを間接的に推定する場合を例として説明する。

[0067] なお、本実施の形態に力かる映像コミュニケーション品質推定装置 1の構成は、第 1の実施の形態（図 1参照）と比較して、遅延品質劣化量推定部 12のみが異なる。他 の構成については、第 1の実施の形態と同様であり、ここでの詳細な説明は省略する

[0068] [遅延品質劣化量推定部]

図 10に示すように、遅延品質劣化量推定部 12には、主な機能手段として、記憶部

12A、遅延品質劣化量算出部 12B、絶対遅延品質劣化量算出部 12C、および相対 遅延品質劣化量算出部 12Dが設けられている。

[0069] 記憶部 12Aは、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和と絶対遅延 品質劣化量 26との関係を示す絶対遅延品質劣化量推定モデル 32Aと、音声遅延 時間 22Aと映像遅延時間 22Bとの遅延時間差と相対遅延品質劣化量 27との関係を 示す相対遅延品質劣化量推定モデル 32Bと、を予め記憶する機能を有して 、る。 絶対遅延品質劣化量算出部 12Cは、記憶部 12Aの絶対遅延品質劣化量推定モ デル 32Aに基づいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対 応する絶対遅延品質劣化量 26を算出する機能を有している。

[0070] 相対遅延品質劣化量算出部 12Dは、記憶部 12Aの相対遅延品質劣化量推定モ デル 32Bに基づいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間差に対 応する相対遅延品質劣化量 27を算出する機能を有している。

遅延品質劣化量算出部 12Bは、絶対遅延品質劣化量算出部 12Cで算出された絶 対遅延品質劣化量 26と相対遅延品質劣化量算出部 12Dで算出された相対遅延品 質劣化量 27とに基づいて、音声遅延時間 22Aおよび映像遅延時間 22Bに対応する 遅延品質劣化量 23Bを算出する機能を有している。

[0071] 絶対遅延品質劣化量は、音声メディアと映像メディアの絶対的な遅延に起因して生 ずる品質劣化量である。また、相対遅延品質劣化量は、音声メディアと映像メディア の間の相対的な遅延差に起因して生ずる品質劣化量である。

[0072] 音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケ一 シヨンでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端 末間で生ずる絶対的な遅延に応じて、ユーザはこれらメディアに対する品質劣化を 知覚する。本実施の形態では、このような品質劣化量を絶対遅延品質劣化量 26とし て定義し、音声遅延時間と映像遅延時間の遅延時間和の増加に伴って絶対遅延品 質劣化量が単調増加する特性を示す絶対遅延品質劣化量推定モデル 32Aに基づ いて、絶対遅延品質劣化量算出部 12Cにより絶対遅延品質劣化量 26を推定してい る。

[0073] また、音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュ 二ケーシヨンでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、 通信端末間で生ずる相対的な遅延すなわちメディア間の同期外れ (再生タイミングの ズレ）に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。本実施の形 態では、このような品質劣化量を相対遅延品質劣化量 27として定義し、音声遅延時 間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調増加 する特性を示す相対遅延品質劣化量推定モデル 32Bに基づ ヽて、相対遅延品質 劣化量算出部 12Dにより相対遅延品質劣化量 27を推定している。

[0074] これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハード ディスクなどの記憶装置力も構成されている。また、各種演算処理を行う演算処理部 (コンピュータ）は、 CPUとその周辺回路から構成されており、上記記憶部のプロダラ ム（図示せず)を読み込んで実行することにより、上記ハードウェアとプログラムとを協 働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機 能部ごとにそれぞれ個別に設けてもよぐ各機能部で共用してもよい。

[0075] [第 2の実施の形態の動作]

次に、図 11を参照して、本発明の第 2の実施の形態に力かる映像コミュニケーショ ン品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。 図 11は、本発明の第 2の実施の形態に力かる映像コミュニケーション品質推定装置 の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にか 力る映像コミュニケーション品質推定装置 1の動作は、第 1の実施の形態と比較して、 遅延品質劣化量推定動作のみが異なる。他の処理動作については、第 1の実施の 形態と同様であり、ここでの詳細な説明は省略する。

[0076] 映像コミュニケーション品質推定装置 1の遅延品質劣化量推定部 12は、図 2のステ ップ 110における遅延品質劣化量推定ステップにおいて、図 11の遅延品質劣化量 推定処理を実行する。

[0077] まず、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、外部から 入力された音声遅延時間 22Aと映像遅延時間 22Bを取得する (ステップ 211)。次に 、遅延品質劣化量推定部 12は、絶対遅延品質劣化量算出部 12Cにより、記憶部 12 Aカゝら絶対遅延品質劣化量推定モデル 32Aを示すモデル係数を読み出し (ステップ 212)、この絶対遅延品質劣化量推定モデル 32Aに基づき、音声遅延時間 22Aと映 像遅延時間 22Bの遅延時間和に対応する絶対遅延品質劣化量 26を算出する (ステ ップ 213)。

[0078] 図 12は、絶対遅延品質劣化量推定の特性例である。本発明において、音声メディ ァおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関す る品質のうち、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に応じて変化 する品質劣化成分を絶対遅延品質劣化量 26という。

図 12に示すように、絶対遅延品質劣化量 26は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間和 Drの増加に伴って単調増加する傾向がある。

[0079] したがって、絶対遅延品質劣化量 26は、例えば音声遅延時間 22Aと映像遅延時 間 22Bの遅延時間和を変数とする線形関数式で表すことができる。音声遅延時間 2 2Aを Daとし、映像遅延時間 22Bを Dvとし、遅延時間和を Drとした場合、 Drは次の 式（6)で求められる。

[0080] [数 6]

Dr = Da + Dv '(6) [0081] また、 α 3, |8 3をそれぞれ定数とし、絶対遅延品質劣化量 26を R(Dr)とした場合、

R (Dr)は、次の式（7)で推定できる。

[0082] [数 7]

R{Dr) = a3 - Dr + β3 -(7)

[0083] また、遅延品質劣化量推定部 12は、相対遅延品質劣化量算出部 12Dにより、記 憶部 12Aから相対遅延品質劣化量推定モデル 32Βを示すモデル係数を読み出し（ ステップ 214)、この相対遅延品質劣化量推定モデル 32Βに基づき、音声遅延時間 22Αと映像遅延時間 22Βの遅延時間差に対応する相対遅延品質劣化量 27を算出 する（ステップ 215)。

[0084] 図 13は、相対遅延品質劣化量推定の特性例である。本発明において、音声メディ ァおよび映像メディアを複合して双方向にやり取りする映像コミュニケーションに関す る品質のうち、音声遅延時間 22Αと映像遅延時間 22Βの遅延時間差に応じて変化 する品質劣化成分を相対遅延品質劣化量 27という。

図 13に示すように、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定の値に達するまでゼロを示し、遅延時間差 Dsのさらなる 増加に伴って単調減少する傾向がある。

[0085] したがって、相対遅延品質劣化量 27は、例えば音声遅延時間 22Aと映像遅延時 間 22Bの遅延時間差を変数とする線形関数式で表すことができる。音声遅延時間 2 2Aを Daとし、映像遅延時間 22Bを Dvとし、遅延時間差を Dsとした場合、 Dsは次の 式（8)で求められる。

[0086] [数 8]

Ds = Da - Dv . (8)

[0087] また、 α 4, β 4をそれぞれ定数とし、相対遅延品質劣化量 27を S (Ds)とした場合、

S (Ds)は、次の式（9)で推定できる。

[0088] [数 9]

S(Ds) = min{a4{Ds - β4),θ} … ） [0089] 続いて、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、絶対 遅延品質劣化量算出部 12Cで算出された絶対遅延品質劣化量 26と相対遅延品質 劣化量算出部 12Dで算出された相対遅延品質劣化量 27とに基づいて、音声遅延 時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化量 23Bを算出する (ス テツプ 216)。

[0090] 図 14は、遅延品質劣化量推定の特性例である。図 14に示すように、遅延品質劣 化量 23Bは、絶対遅延品質劣化量 R (Dr)と相対遅延品質劣化量 S (Ds)の和の増 加に伴って単調増加する傾向がある。

したがって、遅延品質劣化量 23Bは、例えば絶対遅延品質劣化量 R (Dr)と相対遅 延品質劣化量 S (Ds)の和で表すことができる。絶対遅延品質劣化量 26を R (Dr)と し、遅延品質劣化量 23Bを Davとし、 a, bのうちいずれか小さい値を選択する関数を min (a, b)とし、 a, bのうちいずれか大きい値を選択する関数を max (a, b)とした場 合、 MOS値の範囲 1〜5に正規化した Davは次の式（10)で求められる。

[0091] [数 10]

Dav = min[5, max{i?(l)r I + 5(ΐ)5),ΐ}] …ひ。）

[0092] この後、遅延品質劣化量算出部 12Bは、算出した遅延品質劣化量 23Βを映像コミ ュ-ケーシヨン品質推定部 13へ出力し (ステップ 217)、一連の遅延品質劣化量推定 処理を終了する。

[0093] このように、本実施の形態は、音声遅延時間 22Αと映像遅延時間 22Βから、音声メ ディアと映像メディアの絶対的な遅延による品質劣化を示す絶対遅延品質劣化量と 、音声メディアと映像メディアの相対的な遅延による品質劣化を示す相対遅延品質 劣化量とを求め、これら絶対遅延品質劣化量と相対遅延品質劣化量から遅延品質 劣化量 23Βを間接的に推定するようにしたので、極めて簡素な推定モデルで音声遅 延時間 22Αと映像遅延時間 22Βに対応する遅延品質劣化量 23Βを推定することが でき、映像コミュニケーション品質の推定に要する処理負荷や処理時間を削減するこ とがでさる。

[0094] また、本実施の形態では、絶対遅延品質劣化量算出部 12Cにより、音声遅延時間 と映像遅延時間の遅延時間和の増加に伴って絶対遅延品質劣化量が単調増加す る絶対遅延品質劣化特性に基づいて、音声遅延時間と映像遅延時間の遅延時間和 に対応する絶対遅延品質劣化量を推定するようにしたので、各メディアの入力から出 力までの絶対的な遅延に起因して映像コミュニケーション品質の劣化を感じるという、 人間の知覚特性を考慮した絶対遅延品質劣化量を、簡素な処理で精度よく推定で きる。

[0095] また、本実施の形態では、相対遅延品質劣化量算出部 12Dにより、音声遅延時間 と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化量が単調減少す る相対遅延品質劣化特性に基づいて、音声遅延時間と映像遅延時間の遅延時間差 に対応する絶対遅延品質劣化量を推定するようにしたので、メディア間の相対的な 遅延時間のズレすなわち同期外れに起因して映像コミュニケーション品質の劣化を 感じるという、人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精 度よく推定できる。

[0096] [第 3の実施の形態]

次に、図 15を参照して、本発明の第 3の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 15は、本発明の第 3の実施の形態にかかる 映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図

10と同じまたは同等部分には同一符号を付してある。

[0097] 第 2の実施の形態では、 1つの相対遅延品質劣化量推定モデル 32Bに基づいて、 音声遅延時間 22Aと映像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣 化量 27を求める場合を例として説明した。

本実施の形態は、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に基づいて

、相対遅延品質劣化量 27の推定に用いる相対遅延品質劣化量推定モデルを選択 する場合について説明する。

[0098] なお、本実施の形態に力かる映像コミュニケーション品質推定装置 1の構成は、第

2の実施の形態（図 10参照）と比較して、遅延品質劣化量推定部 12の記憶部 12Aと 相対遅延品質劣化量算出部 12Dのみが異なる。他の構成については、第 2の実施 の形態と同様であり、ここでの詳細な説明は省略する。 [0099] [遅延品質劣化量推定部]

図 15に示すように、遅延品質劣化量推定部 12には、主な機能手段として、記憶部 12A、遅延品質劣化量算出部 12B、絶対遅延品質劣化量算出部 12C、および相対 遅延品質劣化量算出部 12Dが設けられている。

記憶部 12Aは、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和と絶対遅延 品質劣化量 26との関係を示す絶対遅延品質劣化量推定モデル 32Aと、音声遅延 時間 22Aと映像遅延時間 22Bの大小関係に応じた複数の異なる相対遅延品質劣化 量推定モデル 32B, 32Cを予め記憶する機能を有して 、る。

[0100] 絶対遅延品質劣化量算出部 12Cは、記憶部 12Aの絶対遅延品質劣化量推定モ デル 32Aに基づいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対 応する絶対遅延品質劣化量 26を算出する機能を有している。

相対遅延品質劣化量算出部 12Dは、音声遅延時間 22Aと映像遅延時間 22Bの 大小関係に応じた相対遅延品質劣化量推定モデルを記憶部 12Aから選択する機能 と、選択した相対遅延品質劣化量推定モデルに基づいて、音声遅延時間 22Aと映 像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27を算出する機能 を有している。

[0101] 遅延品質劣化量算出部 12Bは、絶対遅延品質劣化量算出部 12Cで算出された絶 対遅延品質劣化量 26と相対遅延品質劣化量算出部 12Dで算出された相対遅延品 質劣化量 27とに基づいて、音声遅延時間 22Aおよび映像遅延時間 22Bに対応する 遅延品質劣化量 23Bを算出する機能を有している。

[0102] 音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケ一 シヨンでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端 末間で生ずる相対的な遅延すなわちメディア間の同期外れ (再生タイミングのズレ） に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。この際、ユーザは、 音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合 V、が変化すると 、う知覚特性を有して!/、る。

本実施の形態では、音声遅延時間と映像遅延時間の大小関係に応じて相対遅延 品質劣化量推定モデルを選択し、選択した相対遅延品質劣化量推定モデルに基づ いて、相対遅延品質劣化量算出部 12Dにより相対遅延品質劣化量 27を推定してい る。

[0103] これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハード ディスクなどの記憶装置力も構成されている。また、各種演算処理を行う演算処理部 (コンピュータ）は、 CPUとその周辺回路から構成されており、上記記憶部のプロダラ ム（図示せず)を読み込んで実行することにより、上記ハードウェアとプログラムとを協 働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機 能部ごとにそれぞれ個別に設けてもよぐ各機能部で共用してもよい。

[0104] [第 3の実施の形態の動作]

次に、図 16を参照して、本発明の第 3の実施の形態に力かる映像コミュニケーショ ン品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。 図 16は、本発明の第 3の実施の形態に力かる映像コミュニケーション品質推定装置 の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にか 力る映像コミュニケーション品質推定装置 1の動作は、第 2の実施の形態と比較して、 遅延品質劣化量推定動作のみが異なる。他の処理動作については、第 2の実施の 形態と同様であり、ここでの詳細な説明は省略する。

[0105] 映像コミュニケーション品質推定装置 1の遅延品質劣化量推定部 12は、図 2のステ ップ 110における遅延品質劣化量推定ステップにおいて、図 16の遅延品質劣化量 推定処理を実行する。

[0106] まず、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、外部から 入力された音声遅延時間 22Aと映像遅延時間 22Bを取得する (ステップ 311)。次に 、遅延品質劣化量推定部 12は、絶対遅延品質劣化量算出部 12Cにより、記憶部 12 Aカゝら絶対遅延品質劣化量推定モデル 32Aを示すモデル係数を読み出し (ステップ 312)、この絶対遅延品質劣化量推定モデル 32Aに基づき、音声遅延時間 22Aと映 像遅延時間 22Bの遅延時間和に対応する絶対遅延品質劣化量 26を算出する (ステ ップ 313)。これらステップ 311〜313は前述した図 11のステップ 211〜213と同じで あり、ここでの詳細な説明は省略する。

[0107] また、遅延品質劣化量推定部 12は、相対遅延品質劣化量算出部 12Dにより、音 声遅延時間 22Aと映像遅延時間 22Bの大小関係に応じた相対遅延品質劣化量推 定モデルを選択する (ステップ 314)。そして、選択した相対遅延品質劣化量推定モ デルを示すモデル係数を記憶部 12Aから読み出し (ステップ 315)、この相対遅延品 質劣化量推定モデルに基づき、音声遅延時間 22Aと映像遅延時間 22Bの遅延時 間差に対応する相対遅延品質劣化量 27を算出する (ステップ 316)。

[0108] 図 17は、相対遅延品質劣化量推定の特性例である。本実施の形態では、ユーザ が知覚する相対遅延品質劣化特性を、音声遅延時間 22Aと映像遅延時間 22Bの大 小関係、ここでは、音声遅延時間 22Aが映像遅延時間 22Bより大きいか小さいか、 すなわち遅延時間差 Dsの正負に応じて 2つの相対遅延品質劣化量推定モデル 32 B, 32Cを予め記憶部 12Aに格納してある。このうち、相対遅延品質劣化量推定モ デル 32Bは、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合に適 用され、相対遅延品質劣化量推定モデル 32Cは、音声遅延時間 22Aが映像遅延時 間 22Bより小さい場合に適用される。

[0109] 図 17に示すように、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場 合、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定の値に達するまでゼロを示し、遅延時間差 Dsのさらなる増加に伴って単調 減少する傾向がある。また、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合 、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 D sが所定の値に達するまでゼロを示し、遅延時間差 Dsのさらなる減少に伴って単調 減少する傾向がある。

[0110] したがって、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合、相 対遅延品質劣化量 27は、例えば音声遅延時間 22Aと映像遅延時間 22Bの遅延時 間差を変数とする線形関数式で表すことができる。音声遅延時間 22Aと映像遅延時 間 22Bの遅延時間差を Ds ( = Da— Dv)とし、 α 5, j8 5をそれぞれ定数とし、相対遅 延品質劣化量 27を S (Ds)とした場合、 S (Ds)は、次の式（11)で推定できる。

[0111] [数 11]

S{DS) = min{a5(D5 - β5),θ} when Ds≥0 〜(ιι) [0112] 同様にして、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合、相対遅延品 質劣化量 27は、例えば音声遅延時間 22Aと映像遅延時間 22Bの遅延時間差を変 数とする線形関数式で表すことができる。音声遅延時間 22Aと映像遅延時間 22Bの 遅延時間差を Ds ( = Da— Dv)とし、 α 6, β 6をそれぞれ定数とし、相対遅延品質劣 化量 27を S (Ds)とした場合、 S (Ds)は、次の式（12)で推定できる。

[0113] [数 12]

S{Ds) =

- β6), } when Ds<0 —(12)

[0114] 続いて、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、絶対 遅延品質劣化量算出部 12Cで算出された絶対遅延品質劣化量 26と相対遅延品質 劣化量算出部 12Dで算出された相対遅延品質劣化量 27とに基づいて、音声遅延 時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化量 23Bを算出する (ス テツプ 317)。このステップ 317は前述した図 11のステップ 216と同じであり、ここでの 詳細な説明は省略する。

この後、遅延品質劣化量算出部 12Bは、算出した遅延品質劣化量 23Bを映像コミ ュ-ケーシヨン品質推定部 13へ出力し (ステップ 318)、一連の遅延品質劣化量推定 処理を終了する。

[0115] このように、本実施の形態は、音声遅延時間 22Aと映像遅延時間 22Bの大小関係 に応じた相対遅延品質劣化量推定モデル 32B, 32Cを記憶部 12Aで複数記憶して おき、相対遅延品質劣化量算出部 12Dにより、音声遅延時間 22Aと映像遅延時間 2 2Bの大小関係に応じた相対遅延品質劣化量推定モデルを選択し、選択した相対遅 延品質劣化量推定モデルに基づき、音声遅延時間 22Aと映像遅延時間 22Bの遅 延時間差に対応する相対遅延品質劣化量 27を算出するようにしたので、音声遅延 時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合いが変化 するという、人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精度 よく推定できる。

[0116] 一般に、人間の知覚特性には、音声メディアが映像メディアより先に再生される場 合と比較して、逆に音声メディアが映像メディアより遅れて再生される場合のほうが、 映像コミュニケーション品質の劣化が大きいと感じる特性がある。したがって、本実施 の形態を適用することにより、このような知覚特性を考慮した相対遅延品質劣化量を 推定することができ、高 、精度で映像コミュニケーション品質を推定できる。

[0117] [第 4の実施の形態]

次に、図 18を参照して、本発明の第 4の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 18は、本発明の第 4の実施の形態にかかる 映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図 10と同じまたは同等部分には同一符号を付してある。

[0118] 第 2の実施の形態では、相対遅延品質劣化量推定モデル 32Bに基づいて、音声 遅延時間 22Aと映像遅延時間 22Bに対応する相対遅延品質劣化量 27を求める場 合を例として説明した。

本実施の形態では、音声遅延時間 22Aと映像遅延時間 22Bに加えて映像メディア のフレームレート 22Cを用い、これら音声遅延時間 22A、映像遅延時間 22B、およ びフレームレート 22Cに対応する相対遅延品質劣化量 27を求める場合について説 明する。なお、フレームレートとは、映像メディアを構成するフレームの転送速度であ り、単位時間当たりに送信されるフレーム数で表される。

[0119] なお、本実施の形態に力かる映像コミュニケーション品質推定装置 1の構成は、第 2の実施の形態（図 10参照）と比較して、遅延品質劣化量推定部 12の記憶部 12Aと 相対遅延品質劣化量算出部 12Dのみが異なり、傾き係数算出部 12Eが新たに追カロ されている。他の構成については、第 2の実施の形態と同様であり、ここでの詳細な 説明は省略する。

[0120] [遅延品質劣化量推定部]

図 18に示すように、遅延品質劣化量推定部 12には、主な機能手段として、記憶部 12A、遅延品質劣化量算出部 12B、絶対遅延品質劣化量算出部 12C、相対遅延 品質劣化量算出部 12D、および傾き係数算出部 12Eが設けられている。

[0121] 記憶部 12Aは、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和と絶対遅延 品質劣化量 26との関係を示す絶対遅延品質劣化量推定モデル 32Aと、音声遅延 時間 22Aと映像遅延時間 22Bとの遅延時間差と相対遅延品質劣化量 27との関係を 示す相対遅延品質劣化量推定モデル 32Bと、フレームレート 22Cと相対遅延品質劣 化量推定モデル 32Bの傾きを示す傾き係数との関係を示す傾き係数推定モデル 32 Dと、を予め記憶する機能を有している。

[0122] 絶対遅延品質劣化量算出部 12Cは、記憶部 12Aの絶対遅延品質劣化量推定モ デル 32Aに基づいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対 応する絶対遅延品質劣化量 26を算出する機能を有している。

傾き係数算出部 12Eは、記憶部 12Aの傾き係数推定モデル 32Dに基づいて、相 対遅延品質劣化量推定モデル 32Bの傾きを示す傾き係数を算出する機能を有して いる。

[0123] 相対遅延品質劣化量算出部 12Dは、傾き係数算出部 12Eで算出された傾き係数 に基づいて記憶部 12Aの相対遅延品質劣化量推定モデル 32Bの傾きを特定する 機能と、傾きを特定した相対遅延品質劣化量推定モデル 32Bに基づいて、音声遅 延時間 22Aと映像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27 を算出する機能を有している。

遅延品質劣化量算出部 12Bは、絶対遅延品質劣化量算出部 12Cで算出された絶 対遅延品質劣化量 26と相対遅延品質劣化量算出部 12Dで算出された相対遅延品 質劣化量 27とに基づいて、音声遅延時間 22Aおよび映像遅延時間 22Bに対応する 遅延品質劣化量 23Bを算出する機能を有している。

[0124] 相対遅延品質劣化量の度合いは、映像メディアのフレームレートに左右される。例 えば、フレームレートが低い場合、音声メディアと映像メディアに相対的なズレが生じ ていても大きな品質劣化とは知覚されないが、フレームレートが高くなるに伴ってその 品質劣化は顕著となる。また、近年の携帯電話を用いたテレビ電話サービス等に見 られるように、フレームレートが 30 [フレーム/ sec]を実現できな!/、システムは多く存在 しており、フレームレートの変ィ匕も考慮して総合的なマルチモーダル品質を求めるこ とは非常に重要な課題である。

[0125] 本実施の形態では、相対遅延品質劣化量算出部 12Dにより、相対遅延品質劣化 量推定モデル 32Bとして線形関数を用い、この線形関数の傾き係数がフレームレー トの増加に伴って対数関数的に大きくなるという特性、すなわち傾き係数推定モデル 32Dに基づいて、傾き係数算出部 12Eによりフレームレートに対応する線形関数の 傾き係数を算出している。これにより、フレームレートの変化も考慮して当該映像コミ ュ-ケーシヨンの相対遅延品質劣化量を推定することができる。

[0126] これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハード ディスクなどの記憶装置力も構成されている。また、各種演算処理を行う演算処理部 (コンピュータ）は、 CPUとその周辺回路から構成されており、上記記憶部のプロダラ ム（図示せず)を読み込んで実行することにより、上記ハードウェアとプログラムとを協 働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機 能部ごとにそれぞれ個別に設けてもよぐ各機能部で共用してもよい。

[0127] [第 4の実施の形態の動作]

次に、図 19を参照して、本発明の第 4の実施の形態に力かる映像コミュニケーショ ン品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。 図 19は、本発明の第 4の実施の形態に力かる映像コミュニケーション品質推定装置 の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にか 力る映像コミュニケーション品質推定装置 1の動作は、第 2の実施の形態と比較して、 遅延品質劣化量推定動作のみが異なる。他の処理動作については、第 2の実施の 形態と同様であり、ここでの詳細な説明は省略する。

[0128] 映像コミュニケーション品質推定装置 1の遅延品質劣化量推定部 12は、図 2のステ ップ 110における遅延品質劣化量推定ステップにおいて、図 19の遅延品質劣化量 推定処理を実行する。

[0129] まず、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、外部から 入力された音声遅延時間 22A、映像遅延時間 22B、およびフレームレート 22Cを取 得する (ステップ 411)。次に、遅延品質劣化量推定部 12は、絶対遅延品質劣化量 算出部 12Cにより、記憶部 12Aから絶対遅延品質劣化量推定モデル 32Aを示すモ デル係数を読み出し (ステップ 412)、この絶対遅延品質劣化量推定モデル 32Aに 基づき、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対応する絶対遅延 品質劣化量 26を算出する (ステップ 413)。これらステップ 411〜413は前述した図 1 1のステップ 211〜 213と同じであり、ここでの詳細な説明は省略する。 [0130] また、遅延品質劣化量推定部 12は、傾き係数算出部 12Eにより、記憶部 12Aから 傾き係数推定モデル 32Dを示すモデル係数を読み出し (ステップ 414)、この傾き係 数推定モデル 32Dに基づ 、て、相対遅延品質劣化量推定モデル 32Bの傾きを示す 傾き係数を算出する (ステップ 415)。

図 20は、相対遅延品質劣化量推定の特性例である。図 20に示すように、相対遅 延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定 の値に達するまでゼロを示し、遅延時間差 Dsのさらなる増加に伴って単調減少する 傾向がある。

[0131] また、相対遅延品質劣化量推定モデル 32Bの傾き α 4は、フレームレート 22Cの低 下に応じて緩やかになる傾向がある。

図 21は、傾き係数推定の特性例である。図 21に示すように、相対遅延品質劣化量 推定モデル 32Βの傾き α 4は、フレームレート 22Cの対数値の増加に応じて単調減 少する傾向がある。

[0132] したがって、傾き係数 α 4は、例えばフレームレート 22Cの対数値を変数とする線形 関数式で表すことができる。フレームレート 22Cを Fとし、その対数値を log (F)とし、 « 41 , β 41をそれぞれ定数とし、相対遅延品質劣化量推定モデル 32Βの傾き係数 を α 4とした場合、 α 4は次の式（13)で求められる。

[0133] [数 13] a4 = aAl- log\F) + a42 … ）

[0134] 続いて、遅延品質劣化量推定部 12は、相対遅延品質劣化量算出部 12Dにより、 記憶部 12Aから相対遅延品質劣化量推定モデル 32Bを示すモデル係数を読み出 し (ステップ 416)、このモデル係数に傾き係数算出部 12Eにより算出された傾き係数 a 4を含めることにより相対遅延品質劣化量推定モデル 32Bの傾きを特定する (ステ ップ 417)。

そして、得られた相対遅延品質劣化量推定モデル 32Bに基づき、音声遅延時間 2 2Aと映像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27を算出す る（ステップ 418)。 [0135] 続いて、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、絶対 遅延品質劣化量算出部 12Cで算出された絶対遅延品質劣化量 26と相対遅延品質 劣化量算出部 12Dで算出された相対遅延品質劣化量 27とに基づいて、音声遅延 時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化量 23Bを算出する (ス テツプ 419)。これらステップ 418, 419は前述した図 11のステップ 215, 216と同じで あり、ここでの詳細な説明は省略する。

この後、遅延品質劣化量算出部 12Bは、算出した遅延品質劣化量 23Bを映像コミ ュ-ケーシヨン品質推定部 13へ出力し (ステップ 420)、一連の遅延品質劣化量推定 処理を終了する。

[0136] このように、本実施の形態は、相対遅延品質劣化量推定モデル 32Bとして線形関 数を用い、傾き係数算出部 12Eにより、フレームレートの増加に伴って線形関数の傾 き係数が対数関数的に大きくなる傾き係数推定モデルに基づいて、フレームレートに 対応する線形関数の傾き係数を推定し、この傾き係数により特定された相対遅延品 質劣化量推定モデル 32Bに基づ ヽて、音声遅延時間 22Aと映像遅延時間 22Bの 遅延時間差に対応する相対遅延品質劣化量 27を算出するようにしたので、映像メデ ィァのフレームレートに応じて相対遅延品質劣化を感じる度合いが変化するという、 人間の知覚特性を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定で きる。

[0137] [第 5の実施の形態]

次に、図 22を参照して、本発明の第 5の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 22は、本発明の第 5の実施の形態にかかる 映像コミュニケーション品質推定装置の要部の構成を示す説明図であり、前述した図 18と同じまたは同等部分には同一符号を付してある。

[0138] 第 4の実施の形態では、線形関数力 なる 1つの相対遅延品質劣化量推定モデル

32Bの傾きを、映像メディアのフレームレート 22C力も算出した傾き係数により特定し 、その特定した相対遅延品質劣化量推定モデル 32Bに基づいて、音声遅延時間 22 Aと映像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27を求める 場合を例として説明した。 本実施の形態では、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に基づ 、 て、相対遅延品質劣化量 27の推定に用いる相対遅延品質劣化量推定モデルを選 択する場合について説明する。

[0139] なお、本実施の形態に力かる映像コミュニケーション品質推定装置 1の構成は、第 2の実施の形態（図 10参照）と比較して、遅延品質劣化量推定部 12の記憶部 12Aと 相対遅延品質劣化量算出部 12Dのみが異なる。他の構成については、第 4の実施 の形態と同様であり、ここでの詳細な説明は省略する。

[0140] [遅延品質劣化量推定部]

図 22に示すように、遅延品質劣化量推定部 12には、主な機能手段として、記憶部 12A、遅延品質劣化量算出部 12B、絶対遅延品質劣化量算出部 12C、相対遅延 品質劣化量算出部 12D、および傾き係数算出部 12Eが設けられている。

[0141] 記憶部 12Aは、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和と絶対遅延 品質劣化量 26との関係を示す絶対遅延品質劣化量推定モデル 32Aと、音声遅延 時間 22Aと映像遅延時間 22Bの大小関係に応じた複数の異なる相対遅延品質劣化 量推定モデル 32B, 32Cと、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に 応じた複数の異なる傾き係数推定モデル 32D, 32Eと、を予め記憶する機能を有し ている。

[0142] 絶対遅延品質劣化量算出部 12Cは、記憶部 12Aの絶対遅延品質劣化量推定モ デル 32Aに基づいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対 応する絶対遅延品質劣化量 26を算出する機能を有している。

傾き係数算出部 12Eは、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に応 じた傾き係数推定モデルを記憶部 12Aから選択する機能と、選択した傾き係数推定 モデル 32Dに基づ 、て、相対遅延品質劣化量推定モデル 32Bの傾きを示す傾き係 数を算出する機能を有している。

[0143] 相対遅延品質劣化量算出部 12Dは、音声遅延時間 22Aと映像遅延時間 22Bの 大小関係に応じた相対遅延品質劣化量推定モデルを記憶部 12Aから選択する機能 と、選択した相対遅延品質劣化量推定モデルに基づいて、音声遅延時間 22Aと映 像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27を算出する機能 を有している。

遅延品質劣化量算出部 12Bは、絶対遅延品質劣化量算出部 12Cで算出された絶 対遅延品質劣化量 26と相対遅延品質劣化量算出部 12Dで算出された相対遅延品 質劣化量 27とに基づいて、音声遅延時間 22Aおよび映像遅延時間 22Bに対応する 遅延品質劣化量 23Bを算出する機能を有している。

[0144] 音声メディアおよび映像メディアを複合して双方向にやり取りする映像コミュニケ一 シヨンでは、音声メディアや映像メディアが通信端末間でやり取りされた際に、通信端 末間で生ずる相対的な遅延すなわちメディア間の同期外れ (再生タイミングのズレ） に応じて、ユーザはこれらメディアに対する品質劣化を知覚する。この際、ユーザは、 音声遅延時間と映像遅延時間の大小関係に応じて相対遅延品質劣化を感じる度合 V、が変化すると 、う知覚特性を有して!/、る。

[0145] 本実施の形態では、音声遅延時間と映像遅延時間の大小関係に応じて傾き係数 推定モデルと相対遅延品質劣化量推定モデルをそれぞれ選択し、選択した傾き係 数推定モデルに基づ 、て、映像メディアのフレームレートに対応する傾き係数を傾き 係数算出部 12Eにより算出し、その傾き係数により同じく選択した相対遅延品質劣化 量推定モデルの傾きを特定し、この相対遅延品質劣化量推定モデルに基づ 、て、 相対遅延品質劣化量算出部 12Dにより相対遅延品質劣化量 27を推定している。

[0146] これら機能部のうち、各種演算処理データやプログラムを記憶部は、メモリやハード ディスクなどの記憶装置力も構成されている。また、各種演算処理を行う演算処理部 (コンピュータ）は、 CPUとその周辺回路から構成されており、上記記憶部のプロダラ ム（図示せず)を読み込んで実行することにより、上記ハードウェアとプログラムとを協 働させて各種機能手段を実現する。なお、各機能部の記憶部や演算処理部は、機 能部ごとにそれぞれ個別に設けてもよぐ各機能部で共用してもよい。

[0147] [第 5の実施の形態の動作]

次に、図 23を参照して、本発明の第 5の実施の形態に力かる映像コミュニケーショ ン品質推定装置の動作のうち遅延品質劣化量推定動作について詳細に説明する。 図 23は、本発明の第 5の実施の形態に力かる映像コミュニケーション品質推定装置 の遅延品質劣化量推定処理を示すフローチャートである。なお、本実施の形態にか 力る映像コミュニケーション品質推定装置 1の動作は、第 4の実施の形態と比較して、 遅延品質劣化量推定動作のみが異なる。他の処理動作については、第 4の実施の 形態と同様であり、ここでの詳細な説明は省略する。

[0148] 映像コミュニケーション品質推定装置 1の遅延品質劣化量推定部 12は、図 2のステ ップ 110における遅延品質劣化量推定ステップにおいて、図 23の遅延品質劣化量 推定処理を実行する。

[0149] まず、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、外部から 入力された音声遅延時間 22A、映像遅延時間 22B、およびフレームレート 22Cを取 得する (ステップ 511)。次に、遅延品質劣化量推定部 12は、絶対遅延品質劣化量 算出部 12Cにより、記憶部 12Aから絶対遅延品質劣化量推定モデル 32Aを示すモ デル係数を読み出し (ステップ 512)、この絶対遅延品質劣化量推定モデル 32Aに 基づき、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対応する絶対遅延 品質劣化量 26を算出する (ステップ 513)。これらステップ 511〜513は前述した図 1 1のステップ 211〜 213と同じであり、ここでの詳細な説明は省略する。

[0150] また、遅延品質劣化量推定部 12は、傾き係数算出部 12Eにより、音声遅延時間 2 2Aと映像遅延時間 22Bの大小関係に応じた傾き係数推定モデルを選択する (ステ ップ 514)。そして、選択した傾き係数推定モデル 32Dを示すモデル係数を記憶部 1 2A力も読み出し (ステップ 515)、この傾き係数推定モデル 32Dに基づいて、相対遅 延品質劣化量推定モデル 32Bの傾きを示す傾き係数を算出する (ステップ 516)。

[0151] 図 24は、相対遅延品質劣化量推定の特性例である。本実施の形態では、ユーザ が知覚する相対遅延品質劣化特性を、音声遅延時間 22Aと映像遅延時間 22Bの大 小関係、こでは、音声遅延時間 22Aが映像遅延時間 22Bより大きいか小さいか、す なわち遅延時間差 Dsの正負に応じて 2つの相対遅延品質劣化量推定モデル 32B, 32Cを予め記憶部 12Aに格納してある。このうち、相対遅延品質劣化量推定モデル 32Bは、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合に適用さ れ、相対遅延品質劣化量推定モデル 32Cは、音声遅延時間 22Aが映像遅延時間 2 2Bより小さい場合に適用される。

[0152] 図 24に示すように、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場 合、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定の値に達するまでゼロを示し、遅延時間差 Dsのさらなる増加に伴って単調 減少する傾向がある。また、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合 、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 D sが所定の値に達するまでゼロを示し、遅延時間差 Dsのさらなる減少に伴って単調 減少する傾向がある。

[0153] また、相対遅延品質劣化量推定モデル 32B, 32Cの傾き α 5, α 6は、フレームレ ート 22Cの低下に応じて緩やかになる傾向がある。

図 25は、傾き係数推定の特性例である。図 25に示すように、相対遅延品質劣化量 推定モデル 32Βの傾き a 5は、フレームレート 22Cの対数値の増加に応じて単調減 少する傾向がある。また、相対遅延品質劣化量推定モデル 32Cの傾き《6は、フレ ームレート 22Cの対数値の増加に応じて単調増加する傾向がある。

[0154] したがって、傾き係数 α 5, α 6は、例えばフレームレート 22Cの対数値を変数とす る線形関数式で表すことができる。フレームレート 22Cを Fとし、その対数値を log (F) とし、 « 51 , j8 51をそれぞれ定数とし、相対遅延品質劣化量推定モデル 32Bの傾き 係数を α 5とした場合、 a 5は次の式（14)で求められる。

[0155] [数 14] a5 = a51- log(jP ) + a52 when Ds ^ O ..-(14)

[0156] また、フレームレート 22Cを Fとし、その対数値を log (F)とし、 a 61 , j8 61をそれぞ れ定数とし、相対遅延品質劣化量推定モデル 32Cの傾き係数を oc 6とした場合、 a 6 は次の式（15)で求められる。

[0157] [数 15] ao = a61- log(_JF) + «62 when Ds<S) . '.(15)

[0158] また、遅延品質劣化量推定部 12は、相対遅延品質劣化量算出部 12Dにより、音 声遅延時間 22Aと映像遅延時間 22Bの大小関係に応じた相対遅延品質劣化量推 定モデルを選択する (ステップ 517)。そして、選択した相対遅延品質劣化量推定モ デルを示すモデル係数を記憶部 12Aから読み出し (ステップ 518)、このモデル係数 に傾き係数算出部 12Eにより算出された傾き係数 a 5または a 6を含めることにより、 選択した相対遅延品質劣化量推定モデルの傾きを特定する (ステップ 519)。

そして、得られた相対遅延品質劣化量推定モデルに基づき、音声遅延時間 22Aと 映像遅延時間 22Bの遅延時間差に対応する相対遅延品質劣化量 27を算出する (ス テツプ 520)。

[0159] 続いて、遅延品質劣化量推定部 12は、遅延品質劣化量算出部 12Bにより、絶対 遅延品質劣化量算出部 12Cで算出された絶対遅延品質劣化量 26と相対遅延品質 劣化量算出部 12Dで算出された相対遅延品質劣化量 27とに基づいて、音声遅延 時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化量 23Bを算出する (ス テツプ 521)。これらステップ 517, 518は前述した図 16のステップ 314, 315と同等 であり、ステップ 519は前述した図 19のステップ 417と同等であり、ステップ 520, 52 1は、前述した図 11のステップ 215, 216と同等であり、ここでの詳細な説明は省略 する。

この後、遅延品質劣化量算出部 12Bは、算出した遅延品質劣化量 23Bを映像コミ ュ-ケーシヨン品質推定部 13へ出力し (ステップ 522)、一連の遅延品質劣化量推定 処理を終了する。

[0160] このように、本実施の形態は、音声遅延時間と映像遅延時間の大小関係に応じて 傾き係数推定モデルと相対遅延品質劣化量推定モデルをそれぞれ選択し、選択し た傾き係数推定モデルに基づ 、て、映像メディアのフレームレートに対応する傾き係 数を傾き係数算出部 12Eにより算出し、その傾き係数により同じく選択した相対遅延 品質劣化量推定モデルの傾きを特定し、この相対遅延品質劣化量推定モデルに基 づいて、相対遅延品質劣化量算出部 12Dにより相対遅延品質劣化量 27を推定する ようにしたので、映像メディアのフレームレートに応じて相対遅延品質劣化を感じる度 合いが変化するという人間の知覚特性と、音声遅延時間と映像遅延時間の大小関係 に応じて相対遅延品質劣化を感じる度合いが変化するという人間の知覚特性の両方 を考慮した相対遅延品質劣化量を、簡素な処理で精度よく推定できる。

[0161] [第 6の実施の形態]

次に、図 26を参照して、本発明の第 6の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 26は、本発明の第 6の実施の形態にかかる 映像コミュニケーション品質推定装置で用いる絶対遅延品質劣化量推定モデルの特 性例である。

[0162] 第 2の実施の形態では、遅延品質劣化量推定部 12の絶対遅延品質劣化量算出部 12Cにおいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間和に対応する絶 対遅延品質劣化量 26を算出する際、絶対遅延品質劣化量推定モデル 32Aを線形 関数でモデルィ匕した場合を例として説明した。

本実施の形態では、絶対遅延品質劣化量推定モデル 32Aを非線形関数でモデル 化する場合について説明する。なお、他の構成や動作については、第 2の実施の形 態と同様であり、ここでの詳細な説明は省略する。

[0163] 図 26に示すように、絶対遅延品質劣化量推定モデル 32Aは、評価対象となる映像 コミュニケーションを行う環境によってある程度変動する。したがって、絶対遅延品質 劣化量推定モデル 32Aを線形関数でモデルィ匕するより、非線形関数でモデルィ匕し たほうが推定精度の向上に繋がる場合がある。

非線形関数には各種の関数型が存在する。例えば、指数関数を用いた場合は、音 声遅延時間 Daと映像遅延時間 Dvの遅延時間和を Drとし、 α 7, β 7, Dr7をそれぞ れ定数とし、絶対遅延品質劣化量 26を R (Dr)とした場合、 R (Dr)は、次の式（16)で 推定できる。

[0164] [数 16]

[0165] このように、本実施の形態は、絶対遅延品質劣化量推定モデル 32Aを非線形関数 でモデルィ匕するようにしたので、推定精度の向上を図ることができる。さらに、指数関 数を用いた場合には、簡素な関数式で絶対遅延品質劣化量推定モデル 32Aをモデ ルイ匕することが可能となる。なお、本実施の形態は、第 2の実施の形態だけでなぐ第 3〜第 5の実施の形態にも適用でき、同様の作用効果が得られる。特に、第 3および 第 5の実施の形態では、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に基づ いて、相対遅延品質劣化量 27の推定に用いる相対遅延品質劣化量推定モデルを 複数用いており、これら相対遅延品質劣化量推定モデルをそれぞれ非線形関数で モデルィ匕することもできる。

[0166] [第 7の実施の形態]

次に、図 27を参照して、本発明の第 7の実施の形態に力かる映像コミュニケーショ ン品質推定装置について説明する。図 27は、本発明の第 7の実施の形態にかかる 映像コミュニケーション品質推定装置で用いる相対遅延品質劣化量推定モデルの特 性例である。

[0167] 第 2の実施の形態では、遅延品質劣化量推定部 12の相対遅延品質劣化量算出部 12Dにおいて、音声遅延時間 22Aと映像遅延時間 22Bの遅延時間差に対応する相 対遅延品質劣化量 27を算出する際、相対遅延品質劣化量推定モデル 32Bを線形 関数でモデルィ匕した場合を例として説明した。

本実施の形態では、相対遅延品質劣化量推定モデル 32Bを非線形関数でモデル 化する場合について説明する。なお、他の構成や動作については、第 2の実施の形 態と同様であり、ここでの詳細な説明は省略する。

[0168] 図 27に示すように、相対遅延品質劣化量推定モデル 32Bは、評価対象となる映像 コミュニケーションを行う環境によってある程度変動する。したがって、絶対遅延品質 劣化量推定モデル 32Aを線形関数でモデルィ匕するより、非線形関数でモデルィ匕し たほうが推定精度の向上に繋がる場合がある。

非線形関数には各種の関数型が存在する。例えば、ロジスティック関数を用いた場 合は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差を Dsとし、 α 8, β 8, Ds8 をそれぞれ定数とし、相対遅延品質劣化量 27を S (Ds)とした場合、 S (Ds)は、次の 式（17)で推定できる。

[0169] [数 17]

このように、本実施の形態は、相対遅延品質劣化量推定モデル 32Bを非線形関数 でモデルィ匕するようにしたので、推定精度の向上を図ることができる。さらに、口ジス ティック関数を用いた場合には、簡素な関数式で相対遅延品質劣化量推定モデル 3 2Bをモデルィ匕することが可能となる。なお、本実施の形態は、第 2の実施の形態だけ でなぐ第 3〜第 5の実施の形態にも適用でき、同様の作用効果が得られる。

[0171] また、相対遅延品質劣化量推定モデル 32Bを非線形関数でモデルィ匕する場合、 第 3の実施の形態で説明した式（11) ,式（12)と同様に、音声遅延時間 22Aと映像 遅延時間 22Bの大小関係に応じた 2つの相対遅延品質劣化量推定モデル 32Bを記 憶部 12Aに格納しておき、音声遅延時間 22Aと映像遅延時間 22Bの大小関係に基 づいて、相対遅延品質劣化量 27の推定に用いる相対遅延品質劣化量推定モデル 3 2Bを選択するようにしてもょ ヽ。

[0172] 図 28は、相対遅延品質劣化量推定の他の特性例である。この特性例では、音声 遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合、相対遅延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定の値に達する までゼロから少しずつ減少し、遅延時間差 Dsのさらなる増加に伴って単調減少する 傾向がある。また、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合、相対遅 延品質劣化量 27は、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 Dsが所定 の値に達するまでゼロ力も少しずつ減少し、遅延時間差 Dsのさらなる減少に伴って 単調減少する傾向がある。

[0173] したがって、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合、相 対遅延品質劣化量 27は、例えば音声遅延時間 22Aと映像遅延時間 22Bの遅延時 間差を変数とするロジスティック関数式で表すことができる。音声遅延時間 22Aと映 像遅延時間 22Bの遅延時間差を Ds ( = Da— Dv)とし、 α 9, β 9, Ds9をそれぞれ 定数とし、相対遅延品質劣化量 27を S (Ds)とした場合、 S (Ds)は、次の式（18)で 推定できる。

[0174] [数 18]

S(Ds) = a9 - when Ds≥0 …( ）

[0175] 同様にして、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合、相対遅延品 質劣化量 27は、例えば音声遅延時間 22Aと映像遅延時間 22Bの遅延時間差を変 数とするロジスティック関数式で表すことができる。音声遅延時間 22Aと映像遅延時 間 22Bの遅延時間差を Ds ( = Da— Dv)とし、 α ΐθ, β 10, DslOをそれぞれ定数と し、相対遅延品質劣化量 27を S (Ds)とした場合、 S (Ds)は、次の式（19)で推定で きる。

[0176] [数 19]

S(Ds) = alO- when Ds<0 ー(19)

[0177] なお、図 27および図 28では、特性例の端部において、相対遅延品質劣化量 27が 係数 α 8〜ひ 10へ収束する傾向が示されて 、るが、前述した式（10)に示したように 、遅延品質劣化量 23Βは MOS値の範囲 1〜5に正規ィ匕されるため、実際の相対遅 延品質劣化量 27の推定に際し、特性例の端部における上記傾向部分は利用されな い。

[0178] また、相対遅延品質劣化量推定モデル 32Βを非線形関数でモデル化する場合、口 ジスティック関数を用いた式（17)〜式（19)以外の関数を用いてもよい。図 29は、相 対遅延品質劣化量推定の他の特性例である。このような特性例については、前述し た式（ 17)〜式（ 19)を指数関数で表現できる。

[0179] 例えば、式（17)については、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差 を Dsとし、 a l l , j8 11 , Dsl lをそれぞれ定数とし、相対遅延品質劣化量 27を S (D s)とした場合、 S (Ds)は、次の式（20)で推定できる。

[0180] [数 20]

5( = «11 ¹¹ (20)

[0181] また、音声遅延時間 22Aが映像遅延時間 22Bより大きいか等しい場合の式（18) については、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差を Dsとし、 a 12, β 12, Ds 12をそれぞれ定数とし、相対遅延品質劣化量 27を S (Ds)とした場合、 S ( Ds)は、次の式（21)で推定できる。 [0182] [数 21]

S(Ds) = al2-Ds when Ds≥0 〜(21)

[0183] 同様にして、音声遅延時間 22Aが映像遅延時間 22Bより小さい場合の式（19)に ついては、音声遅延時間 Daと映像遅延時間 Dvの遅延時間差を Dsとし、 a 13, β ΐ 3, Ds 13をそれぞれ定数とし、相対遅延品質劣化量 27を S (Ds)とした場合、 S (Ds) は、次の式（22)で推定できる。

[0184] [数 22]

S{Ds)

when Ds<0 · ' '(22)

[0185] [第 8の実施の形態]

次に、以上の各実施の形態で用いた各数式の定数値を導出する方法について説 明する。

まず、映像コミュニケーションを利用する、例えば使用する通信端末や符号化方式 などの通信環境と、ビジネス会議や自由会話などの想定する利用シーンを定め、音 声品質、映像フレームレートを含む映像品質、音声 ·映像の遅延時間が制御できる 評価実験系を構築する。これら品質は、パケット損失率、パケット遅延時間 Ζゆらぎ 時間等のネットワーク品質パラメータが制御できるネットワークエミュレータ装置で変 ィ匕させることができる。また、映像フレームレートは映像コミュニケーションアプリケー シヨンの設定パラメータにより変化させることができる。

[0186] 次に、音声品質、映像フレームレートを含む映像品質、音声'映像の遅延時間を様 々な状態で変化させて上記想定シーンにしたがって、通信端末間で映像コミュニケ ーシヨンを行い、全ての品質要因を総合的に考慮した映像コミュニケーション品質を 5段階品質尺度によって評価する。

[0187] 品質は平均オピニオン評点 MOS値（Mean Opinion Score)で表現する。 MOS値は 「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の 5段階の品質評価尺度に 対してそれぞれ 5〜1点を付け、評価者が投票した得点の平均値で求められる。主観 品質評価実験では、映像コミュニケーション品質の他に、音声品質評価値、映像品 質評価値も同様に求める。なお、主観評価実験方法の詳細は ITU—T勧告 P. 911 に記載されている。また、音声品質評価値と映像品質評価値は、前述の ITU— T勧 告 P. 862や ITU— T勧告 J. 144などの客観品質推定技術を適用して導出した値を 用いても良い。

[0188] このようにして、各種品質評価値を取得した後、各種数式の係数を導出するための 処理を行う。ここでは、第 5の実施の形態を例として説明する。

まず、遅延時間の影響がない条件の評価結果から、音声品質評価値 MOSaおよ び映像品質評価値 MOSvとマルチモーダル品質値 MOSmmの関係を前述した式（ 1)の関数形で近似し、各定数 α 1, /3 1, γ ΐ, δ 1を導出する。

次に、音声品質と映像品質が最高レベルの条件において、音声'映像の遅延時間 を変化させた場合の品質劣化量を前述した式 (6)〜式 (8) ,式（11) ,式（12) ,式（1 4) ,式（15)の関数形でそれぞれ近似し、各定数《3, β 3, β 5, « 51, « 52, β 6 , « 61, α 62を導出する。

[0189] この後、全ての評価結果を用いて、マルチモーダル品質値 MOSmmおよび遅延 品質劣化量 Davと映像コミュニケーション品質値 MOSallの関係を、前述した式 (4) の関数形で近似し、各定数 α 2, 2, γ 2, δ 2を導出する。

[0190] これらの定数は、映像コミュニケーションをどのような通信環境で利用するの力 ど のようなシーンに適用して利用するの力、どのような会話を行うか等により変化する値 であるが、想定するサービス利用シーンを決定して、一度主観品質評価実験を行うこ とにより一意に定めることが可能である。なお、本実施の形態は、第 5の実施の形態 を例として説明したが、他の実施の形態にも同様にして適用できる。

[0191] [実施の形態の拡張]

以上の各実施の形態では、マルチモーダルサービスを利用して映像コミュニケーシ ヨンを行う各通信端末にぉ 、て、音声品質評価値と映像品質評価値に対称性を有し 、両通信端末において、等しい音声品質評価値と映像品質評価値が得られる場合を 前提として説明している。これら通信端末において、音声品質評価値と映像品質評 価値に対称性がなぐ両通信端末において、等しい音声品質評価値と映像品質評 価値が得られない場合には、例えばマルチモーダル品質推定部 11において、両通 信端末のマルチモーダル品質を合成したマルチモーダル品質値 23Aを算出しても よい。

[0192] あるいは、マルチモーダル品質推定部 11において、通信端末ごとに個別のマルチ モーダル品質値 23Aを推定し、映像コミュニケーション品質推定部 13により、これら マルチモーダル品質値 23Aと遅延品質劣化量 23Bに基づ 、て、映像コミュニケーシ ヨン品質値 24を推定してもよい。

[0193] また、第 2〜第 5の実施の形態では、遅延品質劣化量算出部 12Bにより、音声遅延 時間 22Aおよび映像遅延時間 22Bに対応する遅延品質劣化量 Davを算出する際、 前述した式（10)に示したように、絶対遅延品質劣化量算出部 12Cで算出された絶 対遅延品質劣化量 R (Dr)と相対遅延品質劣化量算出部 12Dで算出された相対遅 延品質劣化量 S (Ds)と和力も Davを算出する場合を例として説明したが、これに限 定されるものではない。例えば、 α 14, β 14, y 14, δ 14をそれぞれ定数とした場 合、 Davは次の式（23)により推定でき、 R(Dr)と S (Ds)の相互作用を考慮して Dav を推定できる。

[0194] [数 23]

Dav= a - R{Dr)+ β14- S(DS) + _Y - R(Dr)- S\Ds)+ δ14 - -(23)

[0195] また、各実施の形態では、各種品質値や傾き係数を算出するための推定モデルと して、それぞれ 1つの推定モデル、または 2つの推定モデルのいずれかを用いる場 合を例に説明した力 これに限定されるものではない。

これら推定モデルは、評価対象となる映像コミュニケーションを行う環境によってあ る程度変動する。映像コミュニケーション環境を左右するパラメータとしては、例えば 、映像通信サービスの通信種別を示す通信種別パラメータ、映像メディアを再生する 端末の再生性能を示す再生性能パラメータ、ある!ヽは映像メディアを再生する端末 の再生環境を示す再生環境パラメータがある。

[0196] 通信種別パラメータの具体例としては、評価対象となる映像通信サービスで行われ る通信種別を示す「タスク」がある。

再生性能パラメータの具体例としては、映像メディアの符号ィ匕に関する「符号化方 式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関す る「モニタサイズ」、「モニタ解像度」などがある。

再生環境パラメータの具体例としては、端末でのメディア再生の際の「室内照度」な どがある。

[0197] したがって、このようなパラメータの組合せごとに推定モデルの関数形やその係数 を記憶部に格納しておき、推定の際、外部力 入力されたこれらパラメータに基づい て推定モデルの関数形やその係数を選択してもよい。これにより、映像コミュニケ一 シヨン環境が異なる場合でも柔軟に対応することができ、高 、精度で映像コミュニケ ーシヨン品質値を推定することが可能となる。

[0198] また、各実施の形態では、 MOS値で表す品質値については、 MOS値がとりうる 1 〜5の範囲となるよう、算出した品質値を正規ィ匕する場合について説明したが、元々 、算出される品質値が 1〜5の範囲に治まるのであれば、正規化処理を省いてもよい また、各実施の形態では、正規化の具体例として、 min ()や max Oなどの関数を用 いた場合を例として説明したが、他の関数を用いて正規ィ匕を行ってもよい。

[0199] また、各実施の形態では、推定モデルを線形関数や非線形関数によりモデルィ匕し た場合を例として説明したが、これら推定モデルは関数に限定されるものではなぐ 関数以外のモデルを用いてもよい。例えば、推定モデルの入出力の関係が規定され た表形式のデータベースでもよい。また、ニューラルネットワークや事例ベースなど、 入出力特性のみが特定されるようなブラックボックスモデルであってもよい。

Claims

請求の範囲

[1] ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複 合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミ ュ-ケーシヨン品質推定装置であって、

前記通信端末で出力された音声メディアに対する品質評価値である音声メディア 品質評価値と、前記通信端末で出力された映像メディアに対する品質評価値である 映像メディア品質評価値とに基づ ヽて、前記音声メディアと前記映像メディアを複合 した複合メディアの品質評価値であるマルチモーダル品質値を推定するマルチモー ダル品質推定部と、

前記音声メディアが前記通信端末間で入力されてから出力されるまでの遅延時間 である音声遅延時間および前記映像メディアが前記通信端末間で入力されてから出 力されるまでの遅延時間である映像遅延時間に基づ!/、て、前記音声メディアと前記 映像メディアの遅延により生ずる遅延品質劣化量を推定する遅延品質劣化量推定 部と、

前記マルチモーダル品質推定部で推定されたマルチモーダル品質値と前記遅延 品質劣化量推定部で推定された前記遅延品質劣化量とに基づ!ヽて、前記映像コミュ 二ケーシヨンの品質を推定する映像コミュニケーション品質推定部と

を備えることを特徴とする映像コミュニケーション品質推定装置。

[2] 請求項 1に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定部は、

音声遅延時間および映像遅延時間と遅延品質劣化量との関係を示す遅延品質劣 化量推定モデルを予め記憶する記憶部と、

前記遅延品質劣化量推定モデルに基づ!、て、前記音声遅延時間および前記映像 遅延時間に対応する遅延品質劣化量を算出する遅延品質劣化量算出部と

を有することを特徴とする映像コミュニケーション品質推定装置。

[3] 請求項 2に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定モデルは、前記音声遅延時間が一定の場合、前記映像 遅延時間の増加に応じて前記遅延品質劣化量が単調増加して所定の最大値に達し 、前記映像遅延時間のさらなる増加に応じて前記遅延品質劣化量が単調減少する 凸型の特性を有し、前記映像遅延時間が一定の場合、前記音声遅延時間の増加に 応じて前記遅延品質劣化量が単調増加して所定の最大値に達し、前記音声遅延時 間のさらなる増加に応じて前記遅延品質劣化量が単調減少する凸型の特性を有す ることを特徴とする映像コミュニケーション品質推定装置。

[4] 請求項 1に記載の映像コミュニケーション品質推定装置にぉ 、て、

前記遅延品質劣化量推定部は、

前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記 映像メディアの絶対的な遅延に起因して生ずる絶対遅延品質劣化量を算出する絶 対遅延品質劣化量算出部と、

前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記 映像メディアの間の相対的な遅延に起因して生ずる相対遅延品質劣化量を算出す る相対遅延品質劣化量算出部と、

前記絶対遅延品質劣化量と前記相対遅延品質劣化量に基づいて前記遅延品質 劣化量を算出する遅延品質劣化量算出部と

を有することを特徴とする映像コミュニケーション品質推定装置。

[5] 請求項 4に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定部は、音声遅延時間と映像遅延時間の遅延時間和の増 加に伴って絶対遅延品質劣化量が単調増加する特性を示す絶対遅延品質劣化量 推定モデルを予め記憶する記憶部を有し、

前記絶対遅延品質劣化量推定部は、前記絶対遅延品質劣化量推定モデルに基 づいて、前記音声遅延時間と前記映像遅延時間の遅延時間和に対応する絶対遅延 品質劣化量を算出することを特徴とする映像コミュニケーション品質推定装置。

[6] 請求項 4に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定部は、音声遅延時間と映像遅延時間の遅延時間差の増 加に伴って相対遅延品質劣化量が単調増加する特性を示す相対遅延品質劣化量 推定モデルを予め記憶する記憶部を有し、

前記相対遅延品質劣化量推定部は、前記相対遅延品質劣化量推定モデルに基 づいて、前記音声遅延時間と前記映像遅延時間の遅延時間差に対応する相対遅延 品質劣化量を導出し、前記相対遅延品質劣化量として出力することを特徴とする映 像コミュニケーション品質推定装置。

[7] 請求項 6に記載の映像コミュニケーション品質推定装置において、

前記記憶部は、音声遅延時間と映像遅延時間の大小関係に応じた相対遅延品質 劣化量推定モデルを複数記憶し、

前記相対遅延品質劣化量推定部は、前記音声遅延時間と前記映像遅延時間の大 小関係に応じた相対遅延品質劣化量推定モデルを前記記憶部力 選択し、選択し た相対遅延品質劣化量推定モデルに基づいて前記音声遅延時間と前記映像遅延 時間の遅延時間差に対応する相対遅延品質劣化量を算出する

ことを特徴とする映像コミュニケーション品質推定装置。

[8] 請求項 1に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定部は、

前記音声遅延時間および前記映像遅延時間に基づいて前記音声メディアと前記 映像メディアの絶対的な遅延に起因して生ずる絶対遅延品質劣化量を推定する絶 対遅延品質劣化量推定部と、

前記音声遅延時間、前記映像遅延時間、および前記映像メディアのフレームレート に基づいて前記音声メディアと前記映像メディアの間の相対的な遅延に起因して生 ずる相対遅延品質劣化量を推定する相対遅延品質劣化量推定部と

を有することを特徴とする映像コミュニケーション品質推定装置。

[9] 請求項 8に記載の映像コミュニケーション品質推定装置において、

前記遅延品質劣化量推定部は、

音声遅延時間と映像遅延時間の遅延時間差の増加に伴って相対遅延品質劣化 量が単調増加する遅延時間差 相対遅延品質劣化量特性を示す線形関数力 な る相対遅延品質劣化量推定モデルとフレームレートの増加に伴って前記線形関数 の傾き係数が対数関数的に大きくなる傾き係数特性を示す傾き係数推定モデルとを 予め記憶する記憶部と、

前記傾き係数推定モデルに基づ 、て、前記映像メディアのフレームレートに対応す る前記線形関数の傾き係数を算出する傾き係数算出部と

を有し、

前記相対遅延品質劣化量推定部は、前記傾き係数により傾きを特定した前記相対 遅延品質劣化量推定モデルに基づ!、て、前記音声遅延時間および前記映像遅延 時間の遅延時間差に対応する相対遅延品質劣化量を算出することを特徴とする映 像コミュニケーション品質推定装置。

[10] 請求項 9に記載の映像コミュニケーション品質推定装置において、

前記記憶部は、音声遅延時間と映像遅延時間の大小関係に応じた相対遅延品質 劣化量推定モデルおよび係数推定モデルをそれぞれ複数記憶し、

前記傾き係数算出部は、前記音声遅延時間と前記映像遅延時間の大小関係に応 じた傾き係数推定モデルを前記記憶部カゝら選択し、選択した傾き係数推定モデルに 基づいて前記傾き係数を算出し、

前記相対遅延品質劣化量推定部は、前記音声遅延時間と前記映像遅延時間の大 小関係に応じた相対遅延品質劣化量推定モデルを前記記憶部力 選択して前記傾 き係数により傾きを特定し、得られた相対遅延品質劣化量推定モデルに基づ 、て、 前記音声遅延時間および前記映像遅延時間の遅延時間差に対応する相対遅延品 質劣化量を算出する

ことを特徴とする映像コミュニケーション品質推定装置。

[11] 請求項 1に記載の映像コミュニケーション品質推定装置において、

前記映像コミュニケーション品質算出部は、

マルチモーダル品質値および遅延品質劣化量と映像コミュニケーション品質値との 関係を示す映像コミュニケーション品質推定モデルを予め記憶する記憶部と、 前記映像コミュニケーション品質推定モデルに基づ 、て、マルチモーダル品質値 および遅延品質劣化量に対応する映像コミュニケーション品質値を算出する映像コミ ュ-ケーシヨン品質算出部と

を有することを特徴とする映像コミュニケーション品質推定装置。

[12] ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複 合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミ ュ-ケーシヨン品質推定装置で用いられる映像コミュニケーション品質推定方法であ つて、

マルチモーダル品質推定部により、前記通信端末で出力された音声メディアに対 する品質評価値である音声メディア品質評価値と、前記通信端末で出力された映像 メディアに対する品質評価値である映像メディア品質評価値とに基づ!/ヽて、前記音 声メディアと前記映像メディアを複合した複合メディアの品質評価値であるマルチモ 一ダル品質値を推定するマルチモーダル品質推定ステップと、

遅延品質劣化量推定部により、前記音声メディアが前記通信端末間で入力されて から出力されるまでの遅延時間である音声遅延時間および前記映像メディアが前記 通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基 づ ヽて、前記音声メディアと前記映像メディアの遅延により生ずる遅延品質劣化量を 推定する絶対遅延品質劣化量推定ステップと、

映像コミュニケーション品質推定部により、前記マルチモーダル品質推定部で推定 されたマルチモーダル品質値と前記遅延品質劣化量推定部で推定された前記遅延 品質劣化量とに基づいて、前記映像コミュニケーションの品質を推定する映像コミュ 二ケーシヨン品質推定ステップと

を備えることを特徴とする映像コミュニケーション品質推定方法。

ネットワークを介して接続された通信端末間で音声メディアおよび映像メディアを複 合して双方向にやり取りする映像コミュニケーションに関する品質を推定する映像コミ ュ-ケーシヨン品質推定装置のコンピュータに、

マルチモーダル品質推定部により、前記通信端末で出力された音声メディアに対 する品質評価値である音声メディア品質評価値と、前記通信端末で出力された映像 メディアに対する品質評価値である映像メディア品質評価値とに基づ!/ヽて、前記音 声メディアと前記映像メディアを複合した複合メディアの品質評価値であるマルチモ 一ダル品質値を推定するマルチモーダル品質推定ステップと、

遅延品質劣化量推定部により、前記音声メディアが前記通信端末間で入力されて から出力されるまでの遅延時間である音声遅延時間および前記映像メディアが前記 通信端末間で入力されてから出力されるまでの遅延時間である映像遅延時間に基 づ ヽて、前記音声メディアと前記映像メディアの遅延により生ずる遅延品質劣化量を 推定する絶対遅延品質劣化量推定ステップと、

映像コミュニケーション品質推定部により、前記マルチモーダル品質推定部で推定 されたマルチモーダル品質値と前記遅延品質劣化量推定部で推定された前記遅延 品質劣化量とに基づいて、前記映像コミュニケーションの品質を推定する映像コミュ 二ケーシヨン品質推定ステップと

を実行させるプログラム。