JP4451857B2 - 映像品質パラメータ推定装置、方法、およびプログラム - Google Patents

Description

本発明は、映像通信技術に関し、特に複数のフレームに符号化した映像メディアを端末で受信再生した際に視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータを推定する映像品質パラメータ推定技術に関する。

インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ−端末間で転送する映像通信サービスの普及が期待されている。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、映像メディアを複数のフレームに符号化して転送するという符号化通信方式が用いられる。

一方、映像通信サービスに利用されるインターネットなどのベスト・エフォート型ネットワークでは、必ずしも通信品質が保証されているわけではない。このため、インターネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主観映像品質の劣化として知覚されやすい。具体的には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。

このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚されやすく、映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。

従来、このようなストリーミング系コンテンツの１つである音声メディアの品質を推定する技術として、ＩＴＵ−Ｔ勧告Ｐ．８６２（International Telecommunication Union-Telecommunication Standardization Sector）において、音声信号を入力とする音声品質客観評価法ＰＥＳＱ（Perceptual Evaluation of Speech Quality）が規定されている。また、ＩＴＵ−Ｔ勧告Ｇ．１０７において、音声品質パラメータを入力とする音声品質推定法が記載されており、ＶｏＩＰ（Voice over IP）での品質設計に利用されている。

一方、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品質客観評価法が勧告として提案されている（例えば、非特許文献１参照）。また、映像品質パラメータを入力とする映像品質推定を行うものも提案されている（例えば、非特許文献２参照）。これによれば、映像品質と各映像品質パラメータの関係から映像品質を定式化し、これら積の線形和により映像品質を定式化している。また、符号化パラメータとパケット損失を考慮した品質推定モデルも提案されている（例えば、非特許文献３参照）。

ＩＴＵ−Ｔ勧告Ｊ．１４４ 山岸,林、「映像コミュニケーションサービスに対する表示サイズ・解像度を考慮した映像品質推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-60、2005/09、pp.61-64 荒山,北脇,山田、「符号化パラメータとパケット損失を考慮したAV通信品質の推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-77、2005/11、pp.57-60

ネットワークの品質設計や品質管理では、映像通信サービスに関する各種条件に対応する、具体的で有用な品質設計・管理指針が必要となる。特に、映像通信サービスの映像品質を左右する多くの要因すなわち映像品質パラメータが存在するため、視聴者の端末において提供すべき所望の主観映像品質が特定された場合、所望の主観映像品質を得るために、映像メディアを符号化する際に用いる映像品質パラメータ、すなわち符号化ビットレートやフレームレートを、どの程度にすればよいのかという品質設計・管理指針を得ることが重要となる。

映像品質に大きな影響を与える要因として、映像メディアに対する符号化処理の内容を示す符号化ビットレートとフレームレートがある。符号化ビットレートは、映像メディアに関する単位時間当たりの符号化ビット数を示す値であり、フレームレートは、映像メディアに関する単位時間当たりのフレーム数を示す値である。

ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。

したがって、これら単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、所望の主観映像品質を得るために、どの程度の符号化ビットレートやフレームレートを用いる必要があるか、という具体的で有用な品質設計・管理指針が、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理において重要となる。

しかしながら、前述の非特許文献１に記載されている、映像信号を入力とする客観品質評価法では、映像の特徴量すなわち空間的および時間的歪みから算出される特徴量を考慮して映像品質を推定している。このため、映像通信サービスの映像品質を左右する多くの要因すなわち各映像品質パラメータが、映像品質に対してどのような影響を与えているか不明確であるため、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるか、という品質設計・管理指針を得ることができない。

また、前述の非特許文献２および非特許文献３には、映像品質パラメータを入力とする映像品質推定法が記載されているが、単位フレーム当たりの符号量とフレームレートの映像品質に対するトレードオフが考慮されておらず、ネットワークの品質設計や品質管理において具体的で有用な品質設計・管理指針を得ることができない、という問題点がある。

また、非特許文献２は、映像品質と各映像品質パラメータの関係から映像品質を定式化しているが、各符号化ビットレートに対する最適フレームレートを適切に算出することができず、映像品質を適切に推定できないという問題点がある。
また、非特許文献３は、符号化ビットレートとパケット損失の関係から映像品質を定式化した映像品質推定法であり、時間的劣化の一要因であるフレームレートが考慮されていないといった問題点がある。さらに、映像品質は符号化ビットレートの増加に伴い、任意の最大値に収束する特性を有しているのに対して、非特許文献３では、映像品質を二次関数で推定しているため、ある符号化ビットレート以上になると映像品質の低下を招く推定モデルとなり、上記特性と反する結果を示している。

本発明はこのような課題を解決するためのものであり、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフが考慮された、具体的で有用な品質設計・管理指針を得ることができる映像品質パラメータ推定装置、方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質パラメータ推定装置は、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置であって、映像通信の種別を示す通信種別パラメータ、端末における映像メディアの再生性能を示す再生性能パラメータ、または端末で映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、推定モデルの特定に用いる特性係数との対応関係を記憶する記憶部と、推定条件として所望の映像品質を示す入力映像品質と映像通信または端末に関する副パラメータを取得するパラメータ取得部と、パラメータ取得部で取得された副パラメータに対応する特性係数を記憶部から取得する係数取得部と、係数取得部で取得された特性係数により特定される、映像メディアに関する最良映像品質と単位時間当たりの符号化ビット数を示す符号化ビットレートとの関係を示す最良映像品質−符号化ビットレート特性に基づいて、入力映像品質に対応する符号化ビットレートを算出し推定値として出力する符号化ビットレート推定部と、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートのときに最良映像品質が得られる単位時間当たりのフレーム数を示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記符号化ビットレート推定部で得られた符号化ビットレートに対応する最適フレームレートを算出し前記推定値として出力する最適フレームレート推定部とを備えている。

また、符号化ビットレート推定部で、最良映像品質の増加に応じて符号化ビットレートが単調増加する最良映像品質−符号化ビットレート特性に基づいて、入力映像品質に対応する符号化ビットレートを算出するようにしてもよい。

また、最適フレームレート推定部で、符号化ビットレートの増加に応じて最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、符号化ビットレートに対応する最適フレームレートを算出するようにしてもよい。

また、本発明にかかる映像品質パラメータ推定方法は、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置で用いられる映像品質パラメータ推定方法であって、前述した映像品質パラメータ推定装置で実現される各処理動作に対応するステップをそれぞれ備えている。

また、本発明にかかるプログラムは、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置のコンピュータに、前述した映像品質パラメータ推定装置で実現される各処理動作に対応するステップを実行させるものである。

本発明によれば、パラメータ取得部で取得された、通信種別パラメータ、再生性能パラメータ、および再生環境パラメータのうちの１つ以上からなる副パラメータに対応する特性係数が、記憶部から係数取得部により取得され、符号化ビットレート推定部により、これら特性係数により特定される最良映像品質−符号化ビットレート特性に基づいて、入力映像品質に対応する符号化ビットレート推定値が算出され、さらに最適フレームレート推定部により、これら特性係数により特定される符号化ビットレート−最適フレームレート特性に基づいて、上記符号化ビットレートに対応する最適フレームレート推定値が算出される。

これにより、副パラメータで指定された、評価対象となる映像通信サービスや端末の具体的かつ詳細な性質に基づいて、推定条件で指定された所望の入力映像品質を得るために必要な符号化ビットレート推定値と最適フレームレート推定値を得ることができる。
したがって、視聴者の端末において提供すべき主観映像品質が特定された場合、その主観映像品質を得るために、映像メディアを符号化する際に用いる映像品質パラメータ、ここでは符号化ビットレートを、どの程度にすればよいのかという品質設計・管理指針を、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。

次に、本発明の実施の形態について図面を参照して説明する。
［映像品質パラメータ推定装置］
まず、図１を参照して、本発明の一実施の形態にかかる映像品質パラメータ推定装置について説明する。図１は、本発明の一実施の形態にかかる映像品質パラメータ推定装置の構成を示すブロック図である。
この映像品質パラメータ推定装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、その映像メディアに関する推定条件を入力として、端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を、所定の推定モデルに基づいて算出する。

本実施の形態は、映像通信の種別を示す通信種別パラメータ、端末における映像メディアの再生性能を示す再生性能パラメータ、または端末で映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、推定モデルの特定に用いる特性係数との対応関係を記憶しておき、所望の映像品質を示す入力映像品質と映像通信または端末に関する副パラメータを推定条件として、入力映像品質に対する符号化ビットレートを推定する際、上記対応関係を参照して副パラメータに対応する特性係数を取得し、この特性係数により特定される、映像メディアに関する最良映像品質と符号化ビットレートとの関係を示す最良映像品質−符号化ビットレート特性に基づいて、入力映像品質に対応する符号化ビットレートを算出し推定値として出力するようにしたものである。

次に、図１を参照して、本発明の一実施の形態にかかる映像品質パラメータ推定装置の構成について詳細に説明する。
映像品質パラメータ推定装置１には、主な機能部として、パラメータ取得部１１、係数取得部１２、符号化ビットレート推定部１３Ａ、および最適フレームレート推定部１３Ｂが設けられている。

これら機能部は、専用の演算処理回路部で実現してもよいが、ＣＰＵなどのマイクロプロセッサとその周辺回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよい。また、これら機能部間でやり取りされる処理情報は、メモリやハードディスクなどの記憶装置からなる記憶部（図示せず）を介してやり取りされる。また、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質パラメータ推定装置１には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置などの各種基本的構成が設けられている。

パラメータ取得部１１は、評価対象となる映像通信サービスに関する各種の推定条件１０を取得する機能と、推定条件１０から映像メディアを視聴者の端末で再生した際の主観映像品質を示す入力映像品質ＭＯＳ（２１Ａ）を抽出し主パラメータ２１として出力する機能と、推定条件１０から通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを抽出し、これらを副パラメータ２２として出力する機能とを有している。

推定条件１０については、キーボードなどの操作入力装置を用いてオペレータ操作により入力してもよく、データ入出力を行うデータ入出力装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよく、さらには実際の映像通信サービスから計測してもよい。

副パラメータ２２には、映像通信サービスの通信種別を示す通信種別パラメータ２２Ａ、映像メディアを再生する端末の再生性能を示す再生性能パラメータ２２Ｂ、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータ２２Ｃがある。

通信種別パラメータ２２Ａの具体例としては、評価対象となる映像通信サービスで行われる通信種別を示す「タスク」がある。
再生性能パラメータ２２Ｂの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ２２Ｃの具体例としては、端末でのメディア再生の際の「室内照度」などがある。

副パラメータ２２は、これらパラメータ例に限定されるものではなく、評価対象となる映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよく、少なくともこれら通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃのうちの１つ以上から構成されていればよい。

係数取得部１２は、記憶部（図示せず）の係数ＤＢ２３を参照して、パラメータ取得部１１により推定条件１０から取得された副パラメータ２２に対応する特性係数２４を取得する機能を有している。
図２は、係数ＤＢの構成例を示す説明図である。係数ＤＢ２３は、各種副パラメータ２２とこれに対応する各特性係数ａ，ｂ，…，ｅ（２４）との組を示すデータベースである。
特性係数２４は、符号化ビットレート推定値２６Ａさらには最適フレームレート推定値２６Ｂからなる映像品質パラメータ２６の推定に用いる推定モデル２５の関数形状を特定するための係数である。

符号化ビットレート推定部１３Ａは、係数取得部１２で取得された特性係数２４（ａ，ｂ，ｃ）により特定される推定モデル２５の最良映像品質−符号化ビットレート特性２５Ａを参照して、パラメータ取得部１１から出力された主パラメータ２１の入力映像品質２１Ａに対応する符号化ビットレートを算出し符号化ビットレート推定値２６Ａとして出力する機能を有している。

最適フレームレート推定部１３Ｂは、係数取得部１２で取得された特性係数２４（ｄ，ｅ）により特定される推定モデル２５の符号化ビットレート−最適フレームレート特性２５Ｂを参照して、符号化ビットレート推定部１３Ａから出力された符号化ビットレート推定値２６Ａに対応する最適フレームレートを算出し最適フレームレート推定値２６Ｂとして出力する機能とを有している。

［主観映像品質特性］
次に、図３を参照して、映像通信サービスにおける映像メディアの主観映像品質特性について説明する。図３は、映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。図３において、横軸はフレームレートｆｒ（ｆｐｓ）、縦軸は主観映像品質値ＭＯＳ（ｆｒ，ｂｒ）（ＭＯＳ値）を示し、符号化ビットレートｂｒごとの特性が示されている。

映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレートはトレードオフの関係にある。
具体的には、ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。

したがって、図３に示すように、各符号化ビットレートに対して、映像品質が最大すなわち最良映像品質となる最適なフレームレートすなわち最適フレームレートが存在し、最適フレームレートを超えてフレームレートを増加させても映像品質が改善されない特性を持つことがわかる。例えば、符号化ビットレートｂｒ＝２５６［ｋｂｂｓ］の場合、主観映像品質特性は、フレームレートｆｒ＝１０［ｆｐｓ］のときの最良映像品質＝３［ＭＯＳ］を頂点として凸型をなす特性となる。
これら主観映像品質特性は、符号化ビットレートが異なっても同様の凸型の形状となり、その頂点が最良映像品質に相当するとともに、そのときの符号化ビットレートと最適フレームレートが当該最良映像品質を得るために必要な映像品質パラメータに相当していることがわかる。

ここで、図３に示された各特性のうち、符号化ビットレートと最良映像品質の関係は、符号化ビットレートの増加とともに映像品質が増加し、ある最大値（最大主観映像品質値）に収束するとともに、符号化ビットレートの低下とともに映像品質も低下し、ある最小値に収束する、という傾向が見られる。
図４は、このような符号化ビットレート−最良映像品質特性を示すグラフである。図４において、横軸は符号化ビットレートｂｒ（ｋｂｐｓ）、縦軸は最良映像品質β（ｂｒ）を示している。

この符号化ビットレート−最良映像品質特性によれば、高い符号化ビットレートを設定しても、ある符号化ビットレートにおいて映像品質が飽和しており、符号化ビットレートを必要以上に高くしても視聴者が視覚的に映像品質の向上を検知することができない、という人間の視覚特性と一致する。
また、符号化ビットレートを下げすぎると映像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例えば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦になり、顔自体を認識できなくなる、という実際の現象と一致している。

このような、符号化ビットレート−最良映像品質特性は、例えば一般的なロジスティック（Ｌｏｇｉｓｔｉｃ）関数でモデル化することができる。
図５は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数ｐ＞１のとき変数ｘの増加に応じて関数ｙの値が単調増加する関数であり、変数ｘの減少に応じて関数値ｙが最小値へ収束し、変数ｘの増大に応じて関数値ｙが最大値へ収束する。最小値をＡ₁、最大値をＡ₂、係数をｐ，ｘ₀とした場合、任意の変数ｘに対する関数ｙの値は、最大値Ａ₂の項と最大値Ａ₂からの減少分を示す分数項からなる、次の式（１）で求められる。

したがって、変数ｘを符号化ビットレートｂｒとし、これに対応する関数値ｙを最良映像品質β（ｂｒ）とし、最大値Ａ₂を特性係数ａ、最小値Ａ₁を「０ゼロ」、係数ｘ₀を特性係数ｂ、係数ｐを特性係数ｃとした場合、符号化ビットレート−最良映像品質は、次の式（２）で表すことができる。なお、式（１）のロジスティック関数の基準値であるＡ１を「０ゼロ」としたが、映像品質（ＭＯＳ値）の基準値は「１」であることから、式（２）は式（１）に「１」を加えた関数で表される。図６は、ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。

ここで、上記図６は符号化ビットレート−最良映像品質特性に関するモデルであるが、この符号化ビットレート−最良映像品質特性について、入出力関係を逆転させれば、すなわち出力変数である最良映像品質β（ｂｒ）を入力とし、入力変数である符号化ビットレートｂｒを出力する関数を求めれば、図７に示すような、所望の最良映像品質−符号化ビットレート特性２５Ａを得ることができる。例えば、入力映像品質をβとし、これに対応する符号化ビットレートをｂｒ（β）とし、特性係数をａ，ｂ，ｃとした場合、最良映像品質−符号化ビットレート特性２５Ａは、次の式（３）で表すことができる。図７は、逆ロジスティック関数でモデル化された最良映像品質−符号化ビットレート特性を示す説明図である。

また、図３に示された各特性のうち、映像メディアが最良映像品質で再生されている場合の符号化ビットレートとそのときのフレームレートすなわち最適フレームレートの関係は、符号化ビットレートの増加とともに最適フレームレートが単調増加し、その後ある最大フレームレートに収束する。
図８は、このような符号化ビットレート−最適フレームレート特性を示すグラフである。図８において、横軸は符号化ビットレートｂｒ（ｋｂｐｓ）、縦軸は最適フレームレートｏｆｒ（ｂｒ）（ｆｐｓ）を示している。

このような、推定モデル２５の符号化ビットレート−最適フレームレート特性２５Ｂは、例えば一般的な線形関数でモデル化することができる。したがって、符号化ビットレートをｂｒ（β）とし、これに対応する最適フレームレートをｏｆｒ（ｂｒ（β））とし、特性係数をｄ，ｅとした場合、符号化ビットレート−最適フレームレート特性２５Ｂは、次の式（４）で表すことができる。

これら最良映像品質−符号化ビットレート特性２５Ａや符号化ビットレート−最適フレームレート特性２５Ｂは、副パラメータ２２で特定される、映像通信サービスの通信種別、映像メディアを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境が異なれば、ある程度、関数の形状も異なる。

本実施の形態では、このような主観映像品質特性の性質に着目して、副パラメータ２２ごとに、最良映像品質と符号化ビットレートの関係を得ることにより、推定モデル２５として最良映像品質−符号化ビットレート特性２５Ａを導出し、この最良映像品質−符号化ビットレート特性２５Ａに基づき所望の映像品質パラメータ２６として符号化ビットレート推定値２６Ａを算出している。
また、副パラメータ２２ごとに、符号化ビットレートと最適フレームレート特性の関係を得ることにより、推定モデル２５として符号化ビットレート−最適フレームレート特性２５Ｂを導出し、この符号化ビットレート−最適フレームレート特性２５Ｂに基づき所望の映像品質パラメータ２６として最適フレームレート推定値２６Ｂを算出している。

［映像品質パラメータ推定装置の動作］
次に、図９を参照して、本発明の一実施の形態にかかる映像品質パラメータ推定装置の動作について説明する。図９は、本発明の一実施の形態にかかる映像品質パラメータ推定装置の映像品質パラメータ推定処理を示すフローチャートである。

映像品質パラメータ推定装置１は、オペレータからの指示操作や推定条件１０の入力に応じて、図９の映像品質パラメータ推定処理を開始する。なお、ここでは、副パラメータ２２として通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを用いるものとし、係数ＤＢ２３には、副パラメータ２２と特性係数２４との組が予め格納されているものとする。

まず、パラメータ取得部１１は、評価対象となる映像通信サービスに関する各種の推定条件１０を取得し、推定条件１０から映像メディアを端末で再生した際に得たい所望の主観映像品質を示す入力映像品質（２１Ａ）を主パラメータ２１として出力する（ステップ１００）。また、パラメータ取得部１１は、推定条件１０から通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを抽出し、これらを副パラメータ２２として出力する（ステップ１０１）。

次に、係数取得部１２は、係数ＤＢ２３を参照して、副パラメータ２２の値に対応する特性係数ａ，ｂ，…，ｅ（２４）を取得して出力する（ステップ１０２）。
これに応じて符号化ビットレート推定部１３Ａは、特性係数２４のうち係数ａ，ｂ，ｃにより特定される最良映像品質−符号化ビットレート特性２５Ａを参照し、前述した式（３）に入力映像品質β（２１Ａ）を代入することにより、入力映像品質β（２１Ａ）に対応する符号化ビットレート推定値ｂｒ（β）（２６Ａ）を算出して出力する（ステップ１０３）。

続いて、最適フレームレート推定部１３Ｂは、特性係数２４のうち係数ｄ，ｅにより特定される符号化ビットレート−最適フレームレート特性２５Ｂを参照し、前述した式（４）に符号化ビットレート推定値ｂｒ（β）（２６Ａ）を代入することにより、入力映像品質β（２１Ａ）に対応する最適フレームレート推定値ｏｆｒ（ｂｒ（β））（２６Ｂ）を算出して出力する（ステップ１０４）。これにより、一連の映像品質パラメータ推定処理を終了する。

このように、本実施の形態は、パラメータ取得部１１で取得された、通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃのうちの１つ以上からなる副パラメータ２２に対応する特性係数２４を、係数ＤＢ２３から係数取得部１２により取得し、符号化ビットレート推定部１３Ａにより、これら特性係数２４で特定される最良映像品質−符号化ビットレート特性２５Ａに基づいて、入力映像品質２１Ａに対応する符号化ビットレート推定値２６Ａを算出するようにしたので、副パラメータ２２で指定された、評価対象となる映像通信サービスや端末の具体的かつ詳細な性質に基づいて、推定条件１０で指定された所望の入力映像品質２１Ａを得るために必要な具体的映像品質パラメータ２６として符号化ビットレート推定値２６Ａを得ることができる。

したがって、視聴者の端末において提供すべき主観映像品質が特定された場合、その所望の主観映像品質を得るために、映像メディアを符号化する際に用いる映像品質パラメータここでは符号化ビットレートを、どの程度にすればよいのかという品質設計・管理指針を、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。

例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質パラメータ推定装置１を用いれば、端末で所望の主観映像品質を得るには、カメラで撮影した映像をどの程度の符号化ビットレートで符号化して送信すればよいかを具体的に把握することができる。

また、従来技術では、映像品質パラメータを推定する場合、評価対象となる映像通信サービスで用いる符号化方式や端末ごとに、推定モデルを用意しなければならなかった。しかしながら、本実施の形態によれば、係数取得部１２を設け、副パラメータ２２に対応する特性係数２４を係数ＤＢ２３から取得するようにしたので、推定モデルが符号化方式や端末に依存せず、推定モデルに用いる係数を符号化方式や端末に応じて参照するだけで、同じ推定モデルを利用できる。したがって、異なる環境の映像通信サービスに対して柔軟に対応することができる。

また、本実施の形態では、さらに最適フレームレート推定部１３Ｂを設け、特性係数２４により特定される符号化ビットレート−最適フレームレート特性２５Ｂに基づいて、入力映像品質２１Ａに対応する最適フレームレート推定値２６Ｂを算出するようにしたので、副パラメータ２２で指定された、評価対象となる映像通信サービスや端末の具体的な性質に基づいて、推定条件１０で指定された所望の入力映像品質２１Ａを得るために必要な具体的な映像品質パラメータ２６として、符号化ビットレート推定値２６Ａと最適フレームレート推定値２６Ｂを得ることができる。

したがって、視聴者の端末において提供すべき主観映像品質が特定された場合、その所望の主観映像品質を得るために、映像メディアを符号化する際に用いる映像品質パラメータここでは符号化ビットレートやフレームレートを、どの程度にすればよいのかという品質設計・管理指針を、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。

例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質パラメータ推定装置１を用いれば、端末で所望の主観映像品質を得るには、カメラで撮影した映像をどの程度の符号化ビットレートおよびフレームレートで符号化して送信すればよいかを具体的に把握することができる。

［各実施の形態の拡張］
以上の実施の形態では、逆ロジステック関数を用いて推定モデル２５の最良映像品質−符号化ビットレート特性２５Ａをモデル化した場合を例として説明したが、これに限定されるものではなく、他の関数を用いてもよい。例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推定条件１０の内容によっては、ある程度限定された範囲の入力映像品質での映像品質パラメータ推定処理で十分なため、このような局所的な見方が可能な場合には、前述したように、最良映像品質−符号化ビットレート特性２５Ａを線形関数等の単純な関数でモデル化することができる。

一方、入力映像品質に対して符号化ビットレートや最適フレームレートの変化が大きい場合には、例えば二次関数や高次関数などの他の関数を用いて推定モデル２５をモデル化してもよい。
また、以上の実施の形態では、推定モデル２５が関数でモデル化されている場合を例として説明したが、関数以外の他のモデル、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。

また、以上の実施の形態で用いた係数ＤＢ２３の副パラメータ２２と特性係数２４の対応関係については、各種副パラメータ２２の組合せごとに、それぞれ最良映像品質、符号化ビットレート、および最適フレームレートをそれぞれ実測し、得られた計測データに対して最小二乗による収束演算を行うことにより、各特性係数２４を算出してもよく、このような特性係数算出のための構成を映像品質パラメータ推定装置１に実装してもよい。

また、以上の実施の形態では、係数取得部１２と係数ＤＢ２３を設け、推定条件１０として入力された副パラメータ２２に対応する特性係数２４を、係数ＤＢ２３から係数取得部１２により取得し、この特性係数２４により推定モデル２５を特定する場合について説明したが、この構成に限定されるものではない。

例えば、評価対象となる映像通信サービスや端末の性質が限定される場合、副パラメータ２２で、通信種別パラメータ２２Ａ、再生性能パラメータ２２Ｂ、および再生環境パラメータ２２Ｃを指定して、推定モデル２５を特定する必要はない。
このような場合には、評価対象に対応する推定モデル２５、すなわち最良映像品質−符号化ビットレート特性２５Ａや符号化ビットレート−最適フレームレート特性２５Ｂを予め用意して記憶部に保存しておけばよい。これにより、係数取得部１２および係数ＤＢ２３を省くことができる。

本発明の一実施の形態にかかる映像品質パラメータ推定装置の構成を示すブロック図である。 係数ＤＢの構成例を示す説明図である。 映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。 符号化ビットレート−最良映像品質特性を示すグラフである。 ロジスティック関数を示す説明図である。 ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。 逆ロジスティック関数でモデル化された最良映像品質−符号化ビットレート特性を示す説明図である。 符号化ビットレート−最適フレームレート特性を示すグラフである。 本発明の一実施の形態にかかる映像品質パラメータ推定装置の映像品質パラメータ推定処理を示すフローチャートである。

符号の説明

１…映像品質パラメータ推定装置、１０…推定条件、１１…パラメータ取得部、１２…係数取得部、１３Ａ…符号化ビットレート推定部、１３Ｂ…最適フレームレート推定部、２１…主パラメータ、２１Ａ…入力映像品質（β）、２２…副パラメータ、２２Ａ…通信種別パラメータ、２２Ｂ…再生性能パラメータ、２２Ｃ…再生環境パラメータ、２３…係数ＤＢ、２４…特性係数、２５…推定モデル、２５Ａ…最良映像品質−符号化ビットレート特性、２５Ｂ…符号化ビットレート−最適フレームレート特性、２６…映像品質パラメータ、２６Ａ…符号化ビットレート推定値（ｂｒ（β））、２６Ｂ…最適フレームレート推定値（ｏｆｒ（ｂｒ（β）））。

Claims (5)

1. 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置であって、
   前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶部と、
   推定条件として前記所望の映像品質を示す入力映像品質と前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得部と、
   前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得部と、
   前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する最良映像品質と単位時間当たりの符号化ビット数を示す符号化ビットレートとの関係を示す最良映像品質−符号化ビットレート特性に基づいて、前記入力映像品質に対応する符号化ビットレートを算出し前記推定値として出力する符号化ビットレート推定部と、
   前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートのときに最良映像品質が得られる単位時間当たりのフレーム数を示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記符号化ビットレート推定部で得られた符号化ビットレートに対応する最適フレームレートを算出し前記推定値として出力する最適フレームレート推定部と
   を備えることを特徴とする映像品質パラメータ推定装置。
2. 請求項１に記載の映像品質パラメータ推定装置において、
   前記符号化ビットレート推定部は、前記最良映像品質の増加に応じて前記符号化ビットレートが単調増加する最良映像品質−符号化ビットレート特性に基づいて、前記入力映像品質に対応する符号化ビットレートを算出することを特徴とする映像品質パラメータ推定装置。
3. 請求項１に記載の映像品質パラメータ推定装置において、
   前記最適フレームレート推定部は、前記符号化ビットレートの増加に応じて前記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、前記符号化ビットレートに対応する最適フレームレートを算出することを特徴とする映像品質パラメータ推定装置。
4. 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置で用いられる映像品質パラメータ推定方法であって、
   記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
   パラメータ取得部により、推定条件として前記所望の映像品質を示す入力映像品質と前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
   係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
   符号化ビットレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する最良映像品質と単位時間当たりの符号化ビット数を示す符号化ビットレートとの関係を示す最良映像品質−符号化ビットレート特性に基づいて、前記入力映像品質に対応する符号化ビットレートを算出し前記推定値として出力する符号化ビットレート推定ステップと、
   最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートのときに最良映像品質が得られる単位時間当たりのフレーム数を示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記符号化ビットレート推定部で得られた符号化ビットレートに対応する最適フレームレートを算出し前記推定値として出力する最適フレームレート推定ステップと
   を備えることを特徴とする映像品質パラメータ推定方法。
5. 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質として所望の映像品質が得られる映像品質パラメータの推定値を所定の推定モデルに基づき算出する映像品質パラメータ推定装置のコンピュータに、
   記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの１つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
   パラメータ取得部により、推定条件として前記所望の映像品質を示す入力映像品質と前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
   係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
   符号化ビットレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する最良映像品質と単位時間当たりの符号化ビット数を示す符号化ビットレートとの関係を示す最良映像品質−符号化ビットレート特性に基づいて、前記入力映像品質に対応する符号化ビットレートを算出し前記推定値として出力する符号化ビットレート推定ステップと、
   最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートのときに最良映像品質が得られる単位時間当たりのフレーム数を示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記符号化ビットレート推定部で得られた符号化ビットレートに対応する最適フレームレートを算出し前記推定値として出力する最適フレームレート推定ステップと
   を実行させるプログラム。

Images