JPWO2007129422A1 - 映像品質推定装置、方法、およびプログラム - Google Patents

映像品質推定装置、方法、およびプログラム Download PDF

Info

Publication number
JPWO2007129422A1
JPWO2007129422A1 JP2007516127A JP2007516127A JPWO2007129422A1 JP WO2007129422 A1 JPWO2007129422 A1 JP WO2007129422A1 JP 2007516127 A JP2007516127 A JP 2007516127A JP 2007516127 A JP2007516127 A JP 2007516127A JP WO2007129422 A1 JPWO2007129422 A1 JP WO2007129422A1
Authority
JP
Japan
Prior art keywords
video quality
video
frame rate
parameter
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007516127A
Other languages
English (en)
Other versions
JP4594389B2 (ja
Inventor
和久 山岸
和久 山岸
林 孝典
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2007129422A1 publication Critical patent/JPWO2007129422A1/ja
Application granted granted Critical
Publication of JP4594389B2 publication Critical patent/JP4594389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレート(121B/221B)と、単位時間当たりのフレーム数を示す入力フレームレート(121A/221A)を入力として、これら主パラメータ(121/221)に対する主観映像品質を推定する際、推定モデル特定部(112/212)により、入力符号化ビットレート(121B/入力フレームレート(221A))に基づいて映像メディアのフレームレート(/符号化ビットレート)と主観映像品質との関係を示す推定モデル(122/222)を特定し、特定された推定モデル(122/222)を用いて入力フレームレート(121A/入力符号化ビットレート221B)に対応する主観映像品質を推定し推定値(123/223)として出力する。

Description

本発明は、映像通信技術に関し、特に複数のフレームに符号化した映像メディアを端末で受信再生した際に視聴者が実感する主観映像品質を推定する映像品質推定技術に関する。
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ−端末間で転送する映像通信サービスの普及が期待されている。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、映像メディアを複数のフレームに符号化して転送するという符号化通信方式が用いられる。
一方、映像通信サービスに利用されるインターネットなどのベスト・エフォート型ネットワークでは、必ずしも通信品質が保証されているわけではない。このため、インターネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主観映像品質の劣化として知覚されやすい。また、アプリケーションによる符号化により、映像に符号化歪みが加わり、主観映像品質の劣化として知覚されやすい。具体的には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。
このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚されやすく、映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。
従来、このようなストリーミング系コンテンツの1つである音声メディアの品質を推定する技術として、ITU−T勧告P.862(International Telecommunication Union-Telecommunication Standardization Sector)において、音声信号を入力とする音声品質客観評価法PESQ(Perceptual Evaluation of Speech Quality)が規定されている。また、ITU−T勧告G.107において、音声品質パラメータを入力とする音声品質推定法が記載されており、VoIP(Voice over IP)での品質設計に利用されている。
一方、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品質客観評価法が勧告として提案されている(例えば、ITU−T勧告J.144:以下、文献1という)。また、映像品質パラメータを入力とする映像品質推定を行うものも提案されている(例えば、山岸,林、「映像コミュニケーションサービスに対する表示サイズ・解像度を考慮した映像品質推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-60、2005/09、pp.61-64:以下、文献2という)。これによれば、映像品質と各映像品質パラメータの関係から映像品質を定式化し、これら積の線形和により映像品質を定式化している。また、符号化パラメータとパケット損失を考慮した品質推定モデルも提案されている(例えば、荒山,北脇,山田、「符号化パラメータとパケット損失を考慮したAV通信品質の推定モデル」、社団法人電子情報通信学会、信学技法CQ2005-77、2005/11、pp.57-60:以下、文献3という)。
アプリケーションおよびネットワークの品質設計や品質管理では、映像通信サービスに関する各種条件に対応する、具体的で有用な品質設計・管理指針が必要となる。特に、映像通信サービスの映像品質を左右する多くの要因すなわち映像品質パラメータが存在するため、これら映像品質パラメータが、映像品質にどのような影響を与えるか、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるかという品質設計・管理指針を得ることが重要となる。
映像品質に大きな影響を与える要因として、映像メディアに対する符号化処理の内容を示す符号化ビットレートとフレームレートがある。符号化ビットレートは、映像メディアに関する単位時間当たりの符号化ビット数を示す値であり、フレームレートは、映像メディアに関する単位時間当たりのフレーム数を示す値である。
ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
したがって、これら単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、これら符号化ビットレートとフレームレートをそれぞれどの程度に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計・管理指針が、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理において重要となる。
しかしながら、前述の文献1に記載されている、映像信号を入力とする客観品質評価法では、映像の特徴量すなわち空間的および時間的歪みから算出される特徴量を考慮して映像品質を推定している。このため、映像通信サービスの映像品質を左右する多くの要因すなわち各映像品質パラメータが、映像品質に対してどのような影響を与えているか不明確であるため、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるか、という品質設計・管理指針を得ることができない。
また、前述の文献2および文献3には、映像品質パラメータを入力とする映像品質推定法が記載されているが、単位フレーム当たりの符号量とフレームレートの映像品質に対するトレードオフが考慮されておらず、アプリケーションおよびネットワークの品質設計や品質管理において具体的で有用な品質設計・管理指針を得ることができない、という問題点がある。
また、文献2は、映像品質と各映像品質パラメータの関係から映像品質を定式化しているが、各符号化ビットレートに対する最適フレームレートを適切に算出することができず、映像品質を適切に推定できないという問題点がある。
また、文献3は、符号化ビットレートとパケット損失の関係から映像品質を定式化した映像品質推定法であり、時間的劣化の一要因であるフレームレートが考慮されていないといった問題点がある。さらに、映像品質は符号化ビットレートの増加に伴い、任意の最大値に収束する特性を有しているのに対して、文献3では、映像品質を二次関数で推定しているため、ある符号化ビットレート以上になると映像品質の低下を招く推定モデルとなり、上記特性と反する結果を示している。
本発明はこのような課題を解決するためのものであり、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフが考慮された、具体的で有用な品質設計・管理指針を得ることができる映像品質推定装置、方法、およびプログラムを提供することを目的としている。
このような課題を解決するために、本発明にかかる映像品質推定装置は、複数のフレームに符号化した映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得部と、映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定部と、特定された推定モデルを用いて一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生した映像メディアから視聴者が実感する主観映像品質の推定値として出力する映像品質推定部とを備えている。
また、本発明にかかる映像品質推定方法は、パラメータ取得部により、複数のフレームに符号化した映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得ステップと、推定モデル特定部により、映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと、映像品質推定部により、特定された推定モデルを用いて一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生した映像メディアから視聴者が実感する主観映像品質の推定値として出力する映像品質推定ステップとを備えている。
また、本発明にかかるプログラムは、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を所定の推定モデルを用いて算出する映像品質推定装置のコンピュータに、パラメータ取得部により、映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得ステップと、推定モデル特定部により、映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと、映像品質推定部により、特定された推定モデルを用いて一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し推定値として出力する映像品質推定ステップとを実行させる。
本発明によれば、映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入力として、これら主パラメータに対する主観映像品質を推定する際、推定モデル特定部により、入力符号化ビットレート(入力フレームレート)に基づいて映像メディアのフレームレート(符号化ビットレート)と主観映像品質との関係を示す推定モデルが特定され、この推定モデルを用いて入力フレームレート(入力符号化ビットレート)に対応する主観映像品質が推定される。
これにより、推定条件として入力された入力符号化ビットレート(入力フレームレート)に対応する推定モデルを参照して、同じく推定条件として入力された入力フレームレート(入力符号化ビットレート)に対応する映像品質推定値を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、これら符号化ビットレートとフレームレートをそれぞれどの程度に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計・管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 図2は、本発明の第1の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。 図3は、映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。 図4は、符号化ビットレート−最適フレームレート特性を示すグラフである。 図5は、符号化ビットレート−最良映像品質特性を示すグラフである。 図6は、ガウス関数を示す説明図である。 図7は、ガウス関数でモデル化されたフレームレート−主観映像品質特性を示す説明図である。 図8は、符号化ビットレート−映像品質劣化指標特性を示すグラフである。 図9は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 図10は、推定モデル特定パラメータ情報の構成例である。 図11は、本発明の第2の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 図12は、本発明の第2の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。 図13は、係数DBの構成例を示す説明図である。 図14は、ロジスティック関数を示す説明図である。 図15は、ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。 図16は、本発明の第2の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 図17は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフである。 図18は、従来の映像品質推定装置の推定精度を示すグラフである。 図19は、本発明の第3の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 図20は、本発明の第3の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。 図21は、映像通信サービスにおける映像メディアの符号化ビットレート−主観映像品質特性を示すグラフである。 図22は、ロジスティック関数を示す説明図である。 図23は、ロジスティック関数でモデル化された符号化ビットレート−主観映像品質特性を示す説明図である。 図24は、フレームレート−最良映像品質特性を示すグラフである。 図25は、フレームレート−映像品質第1変化指標特性を示すグラフである。 図26は、フレームレート−映像品質第2変化指標特性を示すグラフである。 図27は、本発明の第3の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 図28は、推定モデル特定パラメータ情報の構成例である。 図29は、本発明の第4の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 図30は、本発明の第4の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。 図31は、係数DBの構成例を示す説明図である。 図32は、本発明の第4の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 図33は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフである。
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置について説明する。図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置100は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、その映像メディアに関する推定条件を入力として、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を所定の推定モデルを用いて算出する。
本実施の形態は、映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入力として、これら主パラメータに対する主観映像品質を推定する際、入力符号化ビットレートに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定モデルを特定し、特定された推定モデルを用いて入力フレームレートに対応する主観映像品質を推定し推定値として出力するようにしたものである。
[映像品質推定装置]
次に、図1および図2を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。図2は、本発明の第1の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。
映像品質推定装置100には、主な機能部として、パラメータ取得部111、推定モデル特定部112、および映像品質推定部113が設けられている。これら機能部は、専用の演算処理回路部で実現してもよいが、CPUなどのマイクロプロセッサとその周辺回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよい。また、これら機能部で用いられる処理情報はメモリやハードディスクなどの記憶装置からなる後述の各記憶部で記憶され、これら機能部間でやり取りされる処理情報は同じく記憶装置からなる記憶部(図示せず)を介してやり取りされる。また、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質推定装置100には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置などの各種基本的構成が設けられている。
パラメータ取得部111は、評価対象となる映像通信サービスに関する各種の推定条件110を取得する機能と、推定条件110から映像メディアの符号化処理に関するフレームレートと符号化ビットレートを抽出する機能と、これらを入力フレームレートfr(121A)および入力符号化ビットレートbr(121B)からなる主パラメータ121として出力する機能とを有している。推定条件110については、キーボードなどの操作入力装置を用いてオペレータ操作により入力してもよく、データ入出力を行うデータ入出力装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよく、さらには実際の映像通信サービスから計測してもよい。
推定モデル特定部112は、パラメータ取得部111から出力された主パラメータ121の入力符号化ビットレート121Bに基づいて、映像メディアのフレームレートと主観映像品質との関係を示す推定モデル122を特定するための推定モデル特定パラメータ132を算出する機能を有している。
映像品質推定部113は、推定モデル特定部112で特定された推定モデル122を参照して、主パラメータ121の入力フレームレート121Aに対応する主観映像品質を推定し、所望の主観映像品質推定値123として出力する機能を有している。
推定モデル特定部112は、図2に示すように、さらにいくつかの機能部から構成されている。主な機能部としては、推定モデル特定パラメータ132を算出する部として、最適フレームレート算出部112A、最良映像品質算出部112B、映像品質劣化指標算出部112C、および推定モデル生成部112Dがある。
推定モデル特定パラメータ132は、推定モデル122として用いる関数の形状を特定する値からなる。本実施の形態では、少なくとも以下の最適フレームレートと最良映像品質を推定モデル特定パラメータ132として用いているが、映像品質劣化指標に代表される他のパラメータを推定モデル特定パラメータ132に加えてもよい。
最適フレームレート算出部112Aは、記憶部(第1の記憶部)131Mの符号化ビットレート−最適フレームレート特性131Aを参照して、入力符号化ビットレートbr(121B)で送信された映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートofr(br)(132A)を、推定モデル特定パラメータ132の1つとして算出する機能を有している。
最良映像品質算出部112Bは、記憶部131Mの符号化ビットレート−最良映像品質特性131Bを参照して、入力符号化ビットレート121Bで送信された映像メディアの主観映像品質の最良値を示す最良映像品質α(br)(132B)を、推定モデル特定パラメータ132の1つとして算出する機能を有している。
映像品質劣化指標算出部112Cは、記憶部131Mの符号化ビットレート−映像品質劣化指標特性131Cを参照して、入力符号化ビットレート121Bで送信された映像メディアに関する、その主観映像品質の最良値を示す最良映像品質132Bからの劣化度合いを示す映像品質劣化指標ω(br)(132C)を、推定モデル特定パラメータ132の1つとして算出する機能を有している。
これら、符号化ビットレート−最適フレームレート特性131A、符号化ビットレート−最良映像品質特性131B、および符号化ビットレート−映像品質劣化指標特性131Cは、推定モデル特定パラメータ導出特性131として予め用意され、記憶部131M(第1の記憶部)に記憶されている。
推定モデル生成部112Dは、最適フレームレート算出部112Aで算出された最適フレームレートofr(br)、最良映像品質算出部112Bで算出された最良映像品質α(br)、および映像品質劣化指標算出部112Cで算出された映像品質劣化指標ω(br)からなる各推定モデル特定パラメータ132の値を所定の関数式に代入することにより、主パラメータ121の入力フレームレート121Aに対応する主観映像品質を推定するための推定モデル122を生成する機能を有している。
[主観映像品質特性]
次に、図3を参照して、映像通信サービスにおける映像メディアの主観映像品質特性について説明する。図3は、映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。図3において、横軸はフレームレートfr(fps)、縦軸は主観映像品質値MOS(fr,br)(MOS値)を示し、符号化ビットレートbrごとの特性が示されている。
映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレートはトレードオフの関係にある。
具体的には、ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
したがって、図3に示すように、各符号化ビットレートに対して、映像品質が最大すなわち最良映像品質となる最適なフレームレートすなわち最適フレームレートが存在し、最適フレームレートを超えてフレームレートを増加させても映像品質が改善されない特性を持つことがわかる。例えば、符号化ビットレートbr=256[kbbs]の場合、主観映像品質特性は、フレームレートfr=10[fps]のときの最良映像品質=3[MOS]を頂点として凸型をなす特性となる。
また、このような主観映像品質特性は、異なる符号化ビットレートであっても同様の形状となり、各主観映像品質特性の座標位置は、その頂点すなわち最適フレームレートと最良映像品質からなる推定モデル特定パラメータで特定することができる。
本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特定部112により、入力符号化ビットレート121Bに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定モデル122を特定し、映像品質推定部113により、推定モデル特定部112で特定された推定モデル122を用いて入力フレームレート121Aに対応する主観映像品質推定値123を推定している。
[推定モデル特定パラメータの導出]
次に、推定モデル特定部112における推定モデル特定パラメータの導出について詳細に説明する。
推定モデル特定部112により、入力符号化ビットレート121Bに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定モデル122を特定する場合、入力符号化ビットレート121Bに対応する推定モデル特定パラメータとして、最適フレームレート132Aと最良映像品質132Bを導出する必要がある。
本実施の形態では、次のような符号化ビットレート−最適フレームレート特性131Aや符号化ビットレート−最良映像品質特性131Bを推定モデル特定パラメータ導出特性131として予め用意しておき、これら特性を参照して、入力符号化ビットレート121Bに対応する推定モデル特定パラメータ132を導出している。
図3に示された各特性のうち、映像メディアが最良映像品質で再生されている場合の符号化ビットレートとそのときのフレームレートすなわち最適フレームレートの関係は、符号化ビットレートの増加とともに最適フレームレートが単調増加し、その後ある最大フレームレートに収束する。
図4は、このような符号化ビットレート−最適フレームレート特性を示すグラフである。図4において、横軸は符号化ビットレートbr(kbps)、縦軸は最適フレームレートofr(br)(fps)を示している。
一方、図3に示された各特性のうち、映像メディアが最適フレームレートで送信された場合の符号化ビットレートと映像品質すなわち最良映像品質の関係は、符号化ビットレートの増加とともに映像品質が増加し、ある最大値(最大主観映像品質値)に収束するとともに、符号化ビットレートの低下とともに映像品質も低下し、ある最小値に収束する、という傾向が見られる。
図5は、このような符号化ビットレート−最良映像品質特性を示すグラフである。図5において、横軸は符号化ビットレートbr(kbps)、縦軸は最良映像品質α(br)を示している。なお、映像品質は、「1」を基準値として最大「5」までの値をとるMOS値で表されるのに対し、推定モデル122の最良映像品質α(br)として用いる場合には「0」を基準値として最大「4」までの値をとるが、両者は基準値が違うだけでその尺度は実質的に同じものであり、以下では特に区別しない。
この符号化ビットレート−最良映像品質特性によれば、高い符号化ビットレートを設定しても、ある符号化ビットレートにおいて映像品質が飽和しており、符号化ビットレートを必要以上に高くしても視聴者が視覚的に映像品質の向上を検知することができない、という人間の視覚特性と一致する。また、符号化ビットレートを下げすぎると映像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例えば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦になり、顔自体を認識できなくなる、という実際の現象と一致している。
[推定モデル]
次に、推定モデル特定部112で用いる推定モデルとその特定方法について詳細に説明する。
推定モデル特定パラメータ132である最適フレームレート132Aと最良映像品質132Bを頂点とする凸型の特性を関数で表す場合、図6に示すようなガウス関数を利用できる。図6は、ガウス関数を示す説明図である。
ガウス関数は、頂点Pを最大値として左右に減衰する凸型を示す関数であり、その頂点Pのx座標と最大振幅を用いて関数式を表現できる。頂点Pのx座標をxcとし、最大振幅をAとし、y軸の基準値(最低値)をy0とし、凸型特性の開き幅を示す係数をωとした場合、任意の変数xに対する関数yの値は、次のような式(1)で求められる。
Figure 2007129422
したがって、変数xを映像メディアのフレームレートの対数値とし、関数値yを主観映像品質とし、頂点Pの変数xを符号化ビットレートに対応する最適フレームレートの対数値とし、最大振幅Aを符号化ビットレートに対応する最良映像品質α(br)とした場合、任意のフレームレートに対する主観映像品質は、次の式(2)で求めることができ、結果として、入力符号化ビットレート121Bに対応する推定モデルすなわちフレームレート−主観映像品質特性を特定することができる。図7は、ガウス関数でモデル化されたフレームレート−主観映像品質特性を示す説明図である。
Figure 2007129422
この際、式(2)で用いるα(br)およびG(fr,br)は、「0」を基準値として最大「4」までの値をとるため、このG(fr,br)に「1」を加えることにより、MOS値(1〜5)で表現した実際の映像品質値となる。
また、ガウス関数では、係数ωを用いて凸型特性の開き幅を特定しているが、符号化ビットレートに対応するフレームレート−主観映像品質特性ごとに異なる開き幅を用いる必要がある場合には、符号化ビットレートに応じた映像品質劣化指標ω(br)(132C)を用いればよい。
映像品質劣化指標ω(br)は、入力符号化ビットレート121Bで送信された映像メディアに関する、その主観映像品質の最良値を示す最良映像品質132Bからの劣化度合いを示す指標であり、ガウス関数の係数ωに相当する。
図3に示された各特性のうち、符号化ビットレートと主観映像品質の劣化度合いの関係は、符号化ビットレートが高くなるほど劣化度合いが滑らかになり、符号化ビットレートが低くなるほど劣化度合いが大きくなる。したがって、符号化ビットレートと映像品質劣化指標の関係は、符号化ビットレートが高くなるほどフレームレート−主観映像品質特性の凸型の開き幅が大きくなって映像品質劣化指標も大きくなり、符号化ビットレートが低くなるほどフレームレート−主観映像品質特性の凸型の開き幅が小さくなって映像品質劣化指標も小さくなる傾向がある。
図8は、このような符号化ビットレート−映像品質劣化指標特性を示すグラフである。図8において、横軸は符号化ビットレートbr(kbps)、縦軸は映像品質劣化指標ω(br)を示している。なお、図8は、ガウス関数で表現した推定モデルにおける符号化ビットレート−映像品質劣化指標特性であり、他の推定モデルを用いた場合には、その推定モデルに対応する係数を示す映像品質劣化指標の符号化ビットレート−映像品質劣化指標特性を用いればよい。
なお、推定対象となる映像通信サービスによっては、個々の符号化ビットレートに対応するフレームレート−主観映像品質特性ごとに個別の開き幅を用いる必要がない場合もあり、各符号化ビットレートに対応するフレームレート−主観映像品質特性で共通化できる場合もある。したがって、このような場合には、映像品質劣化指標ω(br)として定数を用いることができる。
[第1の実施の形態の動作]
次に、図9を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の動作について説明する。図9は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置100は、オペレータからの指示操作や推定条件110の入力に応じて、図9の映像品質推定処理を開始する。なお、ここでは、推定モデル特定パラメータとして、最適フレームレート132Aおよび最良映像品質132Bに加え、映像品質劣化指標132Cを用いる場合を例として説明する。また、映像品質推定装置100には、前述した符号化ビットレート−最適フレームレート特性131A(図4参照)、符号化ビットレート−最良映像品質特性131B(図5参照)、および符号化ビットレート−映像品質劣化指標特性131C(図8参照)が予め用意され、関数式として記憶部131Mに記憶されているものとする。
まず、パラメータ取得部111は、評価対象となる映像通信サービスに関する各種の推定条件110を取得し、推定条件110から映像メディアの符号化処理に関するフレームレートと符号化ビットレートを抽出し、これら入力フレームレートfr(121A)および入力符号化ビットレートbr(121B)を主パラメータ121として出力する(ステップS100)。
推定モデル特定部112は、パラメータ取得部111から出力された主パラメータ121の入力符号化ビットレート121Bに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定モデル122を特定する。
具体的には、まず、最適フレームレート算出部112Aにより、記憶部131Mの符号化ビットレート−最適フレームレート特性131Aを参照して、入力符号化ビットレートbr(121B)に対応する最適フレームレートofr(br)(132A)を算出する(ステップS101)。
続いて、推定モデル特定部112は、最良映像品質算出部112Bにより、記憶部131Mの符号化ビットレート−最良映像品質特性131Bを参照して、入力符号化ビットレートbr(121B)に対応する最良映像品質α(br)(132B)を算出する(ステップS102)。
同様にして、推定モデル特定部112は、映像品質劣化指標算出部112Cにより、記憶部131Mの符号化ビットレート−映像品質劣化指標特性131Cを参照して、入力符号化ビットレートbr(121B)に対応する映像品質劣化指標ω(br)(132C)を算出する(ステップS103)。
このようにして各推定モデル特定パラメータ132を算出した後、推定モデル特定部112は、推定モデル生成部112Dにより、これら推定モデル特定パラメータ132の最適フレームレートofr(br)、最良映像品質α(br)、および映像品質劣化指標ω(br)の実際の値を前述した式(2)へ代入することにより、推定モデルMOS(fr,br)すなわちフレームレート−主観映像品質特性を特定する(ステップS104)。
この後、映像品質推定装置100は、映像品質推定部113により、推定モデル特定部112で特定された推定モデル122を参照して、パラメータ取得部111から出力された主パラメータ121の入力フレームレート121Aに対応する映像品質を算出し、評価対象となる映像通信サービスを利用して端末で再生された映像メディアから視聴者が実感する主観映像品質推定値123として出力し(ステップS105)、一連の映像品質推定処理を終了する。
このように、本実施の形態は、映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレート121Bと、単位時間当たりのフレーム数を示す入力フレームレート121Aを入力として、これら主パラメータ121に対する主観映像品質を推定する際、推定モデル特定部112により、入力符号化ビットレート121Bに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定モデル122を特定し、特定された推定モデル122を用いて入力フレームレート121Aに対応する主観映像品質を推定し推定値123として出力している。
これにより、推定条件110として入力された入力符号化ビットレート121Bに対応する推定モデル122を参照して、同じく推定条件110として入力された入力フレームレート121Aに対応する主観映像品質推定値123を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、これら符号化ビットレートとフレームレートをそれぞれどの程度に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計・管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質推定装置100を用いれば、カメラで撮影した映像をどの程度の符号化ビットレートとフレームレートで符号化すれば所望の映像品質を満足するかを具体的に把握することができる。特に、ネットワークの制約条件により、符号化ビットレートが制限される場合が多く、このような場合には、当該符号化ビットレートを固定化して本実施の形態にかかる映像品質推定装置100を適用すれば、フレームレートと映像品質との関係を容易かつ具体的に把握できる。
本実施の形態では、推定モデル特定パラメータ132を算出する際に用いる、符号化ビットレート−最適フレームレート特性131A、符号化ビットレート−最良映像品質特性131B、および符号化ビットレート−映像品質劣化指標特性131Cが予め関数式の形で用意され記憶部131Mで記憶されている場合を例として説明したが、推定モデル特定パラメータの導出に用いるこれら推定モデル特定パラメータ導出特性131については関数式に限定されるものではなく、入力符号化ビットレートに対応する値として記憶部131Mで記憶しておいてもよい。
図10は、入力符号化ビットレートと各推定モデル特定パラメータとの対応関係を示す推定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ情報は、入力符号化ビットレートbr(121B)と、これに対応する最適フレームレートofr(br)(132A)、最良映像品質α(br)(132B)、および映像品質劣化指標ω(br)(132C)との組からなり、予め上記推定モデル特定パラメータ導出特性131に基づき算出して記憶部131Mに記憶されている。
このような推定モデル特定パラメータ情報を参照して、入力符号化ビットレート121Bに対応する推定モデル特定パラメータ132を導出してもよい。
[第2の実施の形態]
次に、図11および図12を参照して、本発明の第2の実施の形態にかかる映像品質推定装置について説明する。図11は、本発明の第2の実施の形態にかかる映像品質推定装置の構成を示すブロック図であり、前述した図1と同じまたは同等部分には同一符号を付してある。図12は、本発明の第2の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図であり、前述した図2と同じまたは同等部分には同一符号を付してある。
第1の実施の形態では、予め用意されている推定モデル特定パラメータ導出特性131を参照して入力符号化ビットレートに対応する推定モデル特定パラメータ132を導出する場合を例として説明した。本実施の形態では、評価対象となる映像通信サービスに関する各種の推定条件110のうち、映像通信サービスの通信種別、映像メディアを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境に基づいて、推定条件110に応じた推定モデル特定パラメータ導出特性131を逐次特定する場合について説明する。
第1の実施の形態(図1参照)と比較して、本実施の形態にかかる映像品質推定装置100には、係数取得部114と係数データベース(以下、係数DBという)125が追加されている。
係数取得部114は、記憶部125M(第2の記憶部)の係数DB125を参照して、パラメータ取得部111により推定条件110から取得された副パラメータ124に対応する特性係数126を取得する機能を有している。
図13は、係数DBの構成例を示す説明図である。係数DB125は、各種副パラメータ124とこれに対応する各特性係数a,b,c,…,g(126)との組を示すデータベースである。副パラメータ124には、映像通信サービスの通信種別を示す通信種別パラメータ124A、映像メディアを再生する端末の再生性能を示す再生性能パラメータ124B、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータ124Cがある。
通信種別パラメータ124Aの具体例としては、評価対象となる映像通信サービスで行われる通信種別を示す「タスク」がある。
再生性能パラメータ124Bの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ124Cの具体例としては、端末でのメディア再生の際の「室内照度」などがある。
副パラメータ124は、これらパラメータ例に限定されるものではなく、評価対象となる映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよく、少なくともこれら通信種別パラメータ124A、再生性能パラメータ124B、および再生環境パラメータ124Cのうちの1つ以上から構成されていればよい。
係数取得部114は、予め用意された記憶部125Mの係数DB125を参照して、副パラメータ124に対応する特性係数126を取得する。特性係数126は、推定モデル特定パラメータ132の導出に用いる推定モデル特定パラメータ導出特性を特定するための係数である。
推定モデル特定部112は、係数取得部114で取得された特性係数126により特定された推定モデル特定パラメータ導出特性131、すなわち符号化ビットレート−最適フレームレート特性131A、符号化ビットレート−最良映像品質特性131B、および符号化ビットレート−映像品質劣化指標特性131Cを特定する。
[推定モデル特定パラメータ導出特性]
次に、推定モデル特定部112で用いる推定モデル特定パラメータ導出特性131について詳細に説明する。
推定モデル特定パラメータ導出特性131は、係数取得部114により係数DB125から取得される特性係数126を用いてそれぞれ次のようにモデル化することができる。
まず、推定モデル特定パラメータ導出特性131の符号化ビットレート−最適フレームレート特性131Aは、前述した図4に示すように、符号化ビットレートの増加とともに最適フレームレートが単調増加し、その後ある最大フレームレートに収束する傾向があり、例えば一般的な線形関数でモデル化することができる。したがって、符号化ビットレートをbrとし、これに対応する最適フレームレートをofr(br)とし、係数をa,bとした場合、符号化ビットレート−最適フレームレート特性131Aは、次の式(3)で表すことができる。
Figure 2007129422
次に、推定モデル特定パラメータ導出特性131の符号化ビットレート−最良映像品質特性131Bは、前述した図5に示すように、符号化ビットレートの増加とともに映像品質が増加し、ある最大値に収束するとともに、符号化ビットレートの低下とともに映像品質も低下し、ある最小値に収束する傾向があり、例えば一般的なロジスティック(Logistic)関数でモデル化することができる。
図14は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数p>1のとき変数xの増加に応じて関数yの値が単調増加する関数であり、変数xの減少に応じて関数値yが最小値へ収束し、変数xの増大に応じて関数値yが最大値へ収束する。最小値をA1、最大値をA2、係数をp,x0とした場合、任意の変数xに対する関数yの値は、最大値A2の項と最大値A2からの減少分を示す分数項からなる、次の式(4)で求められる。
Figure 2007129422
したがって、変数xを符号化ビットレートbrとし、これに対応する関数値yを最良映像品質α(br)とし、最大値A2を特性係数c、最小値A1を「0ゼロ」、係数x0を特性係数d、係数pを特性係数eとした場合、符号化ビットレート−最良映像品質特性131Bは、次の式(5)で表すことができる。図15は、ロジスティック関数でモデル化された符号化ビットレート−最良映像品質特性を示す説明図である。
Figure 2007129422
次に、推定モデル特定パラメータ導出特性131の符号化ビットレート−映像品質劣化指標特性131Cは、前述した図8に示すように、符号化ビットレートが高くなるほど映像品質劣化指標も大きくなり、符号化ビットレートが低くなるほど映像品質劣化指標も小さくなる傾向があり、例えば一般的な線形関数でモデル化することができる。したがって、符号化ビットレートをbrとし、これに対応する映像品質劣化指標をω(br)とし、係数をf,gとした場合、符号化ビットレート−映像品質劣化指標特性131Cは、次の式(6)で表すことができる。
Figure 2007129422
なお、推定モデル特定パラメータ導出特性131のモデル化については、前述した線形関数やロジスティック関数に限定されるものではなく、他の関数を用いてもよい。例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推定条件110の内容によっては、ある程度限定された範囲の入力符号化ビットレートや入力フレームレートでの映像品質推定処理で十分なため、このような局所的な見方が可能な場合には、前述したように、推定モデル特定パラメータ導出特性131を線形関数等の単純な関数でモデル化することができる。
これに対して、入力符号化ビットレートや入力フレームレートに対して推定モデル特定パラメータの変化が大きい場合には、例えば指数関数などの他の関数を用いて符号化ビットレート−最適フレームレート特性131Aを表してもよい。指数関数を用いてモデル化した場合、最適フレームレートofr(br)および映像品質劣化指標ω(br)は、係数をh,i,j,k,l,mとして、式(7)で表すことができる。
Figure 2007129422
[第2の実施の形態の動作]
次に、図16を参照して、本発明の第2の実施の形態にかかる映像品質推定装置の動作について説明する。図16は、本発明の第2の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートであり、前述した図9と同じまたは同等部分には同一符号を付してある。
映像品質推定装置100は、オペレータからの指示操作や推定条件110の入力に応じて、図16の映像品質推定処理を開始する。なお、ここでは、推定モデル特定パラメータとして、最適フレームレート132Aおよび最良映像品質132Bに加え、映像品質劣化指標132Cを用いる場合を例として説明する。また、副パラメータ124として通信種別パラメータ124A、再生性能パラメータ124B、および再生環境パラメータ124Cを用いるものとし、記憶部125Mの係数DB125には、副パラメータ124と特性係数126との組が予め格納されているものとする。
まず、パラメータ取得部111は、評価対象となる映像通信サービスに関する各種の推定条件110を取得し、推定条件110から映像メディアの符号化処理に関するフレームレートと符号化ビットレートを抽出し、これら入力フレームレートfr(121A)および入力符号化ビットレートbr(121B)を主パラメータ121として出力する(ステップS100)。また、パラメータ取得部111は、推定条件110から通信種別パラメータ124A、再生性能パラメータ124B、および再生環境パラメータ124Cを抽出し、これらを副パラメータ124として出力する(ステップS110)。
次に、係数取得部114は、記憶部125Mの係数DB125を参照して、副パラメータ124の値に対応する特性係数a,b,c,…,g(126)を取得して出力する(ステップS111)。
これに応じて推定モデル特定部112は、最適フレームレート算出部112Aにより、特性係数126のうち係数a,bにより特定される符号化ビットレート−最適フレームレート特性131Aを参照して、入力符号化ビットレートbr(121B)に対応する最適フレームレートofr(br)(132A)を算出する(ステップS101)。
また、推定モデル特定部112は、最良映像品質算出部112Bにより、特性係数126のうち係数c,d,eにより特定される符号化ビットレート−最良映像品質特性131Bを参照して、入力符号化ビットレートbr(121B)に対応する最良映像品質α(br)(132B)を算出する(ステップS102)。
同様にして、推定モデル特定部112は、映像品質劣化指標算出部112Cにより、特性係数126のうち係数f,gにより特定される符号化ビットレート−映像品質劣化指標特性131Cを参照して、入力符号化ビットレートbr(121B)に対応する映像品質劣化指標ω(br)(132C)を算出する(ステップS103)。
このようにして各推定モデル特定パラメータ132を算出した後、推定モデル特定部112は、推定モデル生成部112Dにより、これら推定モデル特定パラメータ132の最適フレームレートofr(br)、最良映像品質α(br)、および映像品質劣化指標ω(br)の実際の値を前述した式(2)へ代入することにより、推定モデルMOS(fr,br)すなわちフレームレート−主観映像品質特性を特定する(ステップS104)。
この後、映像品質推定装置100は、映像品質推定部113により、推定モデル特定部112で特定された推定モデル122を参照して、パラメータ取得部111から出力された主パラメータ121の入力フレームレート121Aに対応する映像品質を算出し、評価対象となる映像通信サービスを利用して端末で再生された映像メディアから視聴者が実感する主観映像品質の主観映像品質推定値123として出力し(ステップS105)、一連の映像品質推定処理を終了する。
このように、本実施の形態は、パラメータ取得部111で取得された、通信種別パラメータ124A、再生性能パラメータ124B、および再生環境パラメータ124Cのうちの1つ以上からなる副パラメータ124に対応する特性係数126を、記憶部125Mの係数DB125から係数取得部114により取得し、推定モデル特定部112により、これら特性係数126により特定される推定モデル特定パラメータ導出特性131に基づいて、入力符号化ビットレート121Bに対応する推定モデル特定パラメータ132を算出するようにしたので、評価対象となる映像通信サービスや端末の具体的な性質に基づく推定モデル特定パラメータ132を導出することができ、映像品質推定の精度を向上させることができる。
特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービスで用いる符号化方式や端末ごとに、映像品質推定モデルを用意しなければならなかった。しかしながら、本実施の形態によれば、映像品質推定モデルが符号化方式や端末に依存せず、映像品質推定モデルに用いる係数を符号化方式や端末に応じて参照するだけで、同じ映像品質推定モデルを利用できる。したがって、異なる環境の映像通信サービスに対して柔軟に対応することができる。
図17は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフである。図18は、文献2に基づく従来の映像品質推定装置の推定精度を示すグラフである。これら図17および図18において、横軸は映像品質推定装置を用いて推定した主観映像品質の推定値(MOS値)を示し、縦軸は視聴者が実際にオピニオン評価した主観映像品質の評価値(MOS値)を示している。図18に比較して、図17のほうが、評価値と推定値の誤差が少なく、推定精度が向上していることがわかる。なお、これらは特定の推定条件下での比較結果であるが、異なる符号化方式や端末を用いた場合でも、同様の比較結果が確認されている。
[第3の実施の形態]
まず、図19を参照して、本発明の第3の実施の形態にかかる映像品質推定装置について説明する。図19は、本発明の第3の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置200は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、その映像メディアに関する推定条件を入力として、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を所定の推定モデルを用いて算出する。
本実施の形態は、映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入力として、これら主パラメータに対する主観映像品質を推定する際、入力フレームレートに基づいて映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデルを特定し、特定された推定モデルを用いて入力符号化ビットレートに対応する主観映像品質を推定し推定値として出力するようにしたものである。
[映像品質推定装置]
次に、図19および図20を参照して、本発明の第3の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。図20は、本発明の第3の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。
映像品質推定装置200には、主な機能部として、パラメータ取得部211、推定モデル特定部212、および映像品質推定部213が設けられている。これら機能部は、専用の演算処理回路部で実現してもよいが、CPUなどのマイクロプロセッサとその周辺回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよい。また、これら機能部で用いられる処理情報はメモリやハードディスクなどの記憶装置からなる後述の各記憶部で記憶され、これら機能部間でやり取りされる処理情報は同じく記憶装置からなる記憶部(図示せず)を介してやり取りされる。また、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質推定装置200には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置などの各種基本的構成が設けられている。
パラメータ取得部211は、評価対象となる映像通信サービスに関する各種の推定条件210を取得する機能と、推定条件210から映像メディアの符号化処理に関する符号化ビットレートとフレームレートを抽出する機能と、これらを入力符号化ビットレートbr(221A)および入力フレームレートfr(221B)からなる主パラメータ221として出力する機能とを有している。推定条件210については、キーボードなどの操作入力装置を用いてオペレータ操作により入力してもよく、データ入出力を行うデータ入出力装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよく、さらには実際の映像通信サービスから計測してもよい。
推定モデル特定部212は、パラメータ取得部211から出力された主パラメータ221の入力フレームレート221Bに基づいて、映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデル222を特定するための推定モデル特定パラメータ232を算出する機能を有している。
映像品質推定部213は、推定モデル特定部212で特定された推定モデル222を参照して、主パラメータ221の入力符号化ビットレート221Aに対応する主観映像品質を推定し、所望の主観映像品質推定値223として出力する機能を有している。
推定モデル特定部212は、図20に示すように、さらにいくつかの機能部から構成されている。主な機能部としては、推定モデル特定パラメータ232を算出する部として、最良映像品質算出部212A、映像品質第1変化指標算出部212B、映像品質第2変化指標算出部212C、および推定モデル生成部212Dがある。
推定モデル特定パラメータ232は、推定モデル222として用いる関数の形状を特定する値からなる。本実施の形態では、少なくとも以下の最良映像品質、映像品質第1変化指標、および映像品質第2変化指標を推定モデル特定パラメータ232として用いているが、他のパラメータを推定モデル特定パラメータ232に加えてもよい。
最良映像品質算出部212Aは、記憶部231M(第3の記憶部)のフレームレート−最良映像品質特性231Aを参照して、入力フレームレート221Bで送信された映像メディアの主観映像品質の最良値を示す最良映像品質β(fr)(232A)を、推定モデル特定パラメータ232の1つとして算出する機能を有している。
映像品質第1変化指標算出部212Bは、記憶部231Mのフレームレート−映像品質第1変化指標特性231Bを参照して、入力フレームレート221Bで送信された映像メディアに関する、その主観映像品質の最良値を示す最良映像品質232Aからの変化(劣化)度合いを示す映像品質第1変化指標s(fr)(232B)を、推定モデル特定パラメータ232の1つとして算出する機能を有している。
映像品質第2変化指標算出部212Cは、記憶部231Mのフレームレート−映像品質第2変化指標特性231Cを参照して、入力フレームレート221Bで送信された映像メディアに関する、その主観映像品質の最良値を示す最良映像品質232Aからの変化(劣化)度合いを示す映像品質第2変化指標t(fr)(232C)を、推定モデル特定パラメータ232の1つとして算出する機能を有している。
これら、フレームレート−最良映像品質特性231A、フレームレート−映像品質第1変化指標特性231B、およびフレームレート−映像品質第2変化指標特性231Cは、推定モデル特定パラメータ導出特性231として予め用意され、記憶部231M(第3の記憶部)に記憶されている。
推定モデル生成部212Dは、最良映像品質算出部212Aで算出された最良映像品質β(br)、映像品質第1変化指標算出部212Bで算出された映像品質第1変化指標s(fr)、および映像品質第2変化指標算出部212Cで算出された映像品質第2変化指標t(fr)からなる各推定モデル特定パラメータ232の値を所定の関数式に代入することにより、主パラメータ221の入力フレームレート221Bに対応する主観映像品質を推定するための推定モデル222を生成する機能を有している。
[主観映像品質特性]
次に、図21を参照して、映像通信サービスにおける映像メディアの主観映像品質特性について説明する。図21は、映像通信サービスにおける映像メディアの符号化ビットレート−主観映像品質特性を示すグラフである。図21において、横軸は符号化ビットレートbr(kbps)、縦軸は主観映像品質値MOS(fr,br)(MOS値)を示し、フレームレートfrごとの特性が示されている。
映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレートはトレードオフの関係にある。
具体的には、ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
ここで、フレームレートをそれぞれ一定とした場合、そのときの映像品質は、図21に示すように、符号化ビットレートの増加に応じて単調増加し、当該フレームレートで送信された映像メディアの最良映像品質へ収束する特性を持つ。例えば、フレームレートfr=10[fbs]の場合、主観映像品質特性は、符号化ビットレートbrの増加に応じて単調増加し、符号化ビットレートbr=1000[kbps]付近で最良映像品質=3.8[MOS]に収束する特性となる。
また、このような主観映像品質特性は、異なるフレームレートであっても同様の形状となり、各主観映像品質特性の座標位置は、その最良映像品質と最良映像品質に対する変化度合いを示す映像品質変化指標からなる推定モデル特定パラメータで特定することができる。
本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特定部212により、入力フレームレート221Bに基づいて映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデル222を特定し、映像品質推定部213により、推定モデル特定部212で特定された推定モデル222を用いて入力符号化ビットレート221Aに対応する主観映像品質推定値223を推定している。
[推定モデル]
次に、推定モデル特定部212で用いる推定モデルと推定モデル特定パラメータの導出について詳細に説明する。
図21に示した、符号化ビットレート−主観映像品質特性は、符号化ビットレートの増加に応じて単調増加し、当該フレームレートで送信された映像メディアの最良映像品質へ収束する特性を持つ傾向があり、例えば一般的なロジスティック(Logistic)関数でモデル化することができる。
図22は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数r>1のとき変数xの増加に応じて関数yの値が単調増加する関数であり、変数xの減少に応じて関数値yが最小値へ収束し、変数xの増大に応じて関数値yが最大値へ収束する。最小値をA3、最大値をA4、係数をq,rとした場合、任意の変数xに対する関数yの値は、最大値A4の項と最大値A4からの減少分を示す分数項からなる、次の式(8)で求められる。
Figure 2007129422
したがって、変数xを符号化ビットレートbrとし、これに対応する関数値yを主観映像品質MOS(fr,br)とし、最大値A4を入力フレームレートfrにおける最良映像品質β(fr)、最小値A3を「1」、係数qを映像品質第1変化指標s(fr)、係数rを映像品質第2変化指標t(fr)とした場合、任意の符号化ビットレートbrに対する主観映像品質MOSは、次の(9)式で求めることができ、結果として、入力フレームレート221Bに対応する推定モデル222すなわち符号化ビットレート−主観映像品質特性を特定することができる。図23は、ロジスティック関数でモデル化された符号化ビットレート−主観映像品質特性を示す説明図である。
Figure 2007129422
したがって、推定モデル特定部212により、入力フレームレート221Bに基づいて映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデル222を特定する場合、入力フレームレート221Bに対応する推定モデル特定パラメータとして、最良映像品質232A、映像品質第1変化指標232B、および映像品質第2変化指標232Cを導出する必要がある。特に、映像品質第1変化指標s(fr)および映像品質第2変化指標t(fr)は、ロジスティック関数の分数項において最大値A4からの減少分すなわち最良映像品質β(fr)からの変化(劣化)分を算出するために用いられており、それぞれ当該フレームレートfrにおける主観映像品質に関する変化度合いを示す変化指標として、推定モデル222の特定に必要となる。
本実施の形態では、次のようなフレームレート−最良映像品質特性231A、フレームレート−映像品質第1変化指標特性231B、およびフレームレート−映像品質第2変化指標特性231Cを推定モデル特定パラメータ導出特性231として予め用意しておき、これら特性を参照して、入力フレームレート221Bに対応する推定モデル特定パラメータ232をそれぞれ導出している。
図21に示された各特性において、送信された映像メディアのフレームレートとそのときの最良映像品質との関係は、フレームレートfrの増加とともにそれぞれ最良映像品質β(fr)が増加し、ある最大値(最大主観映像品質値)に収束する、という傾向が見られる。
図24は、このようなフレームレート−最良映像品質特性を示すグラフである。図24において、横軸はフレームレートfr(fps)、縦軸は最良映像品質β(fr)(MOS値)を示している。
一方、送信された映像メディアのフレームレートとそのときの映像品質第1変化指標との関係は、フレームレートの増加とともにそれぞれ映像品質第1変化指標が単調増加する、という傾向が見られる。
図25は、このようなフレームレート−映像品質第1変化指標特性を示すグラフである。図25において、横軸はフレームレートfr(fps)、縦軸は映像品質第1変化指標s(fr)を示している。
また、送信された映像メディアのフレームレートとそのときの映像品質第2変化指標との関係は、フレームレートの増加とともにそれぞれ映像品質第2変化指標が単調減少する、という傾向が見られる。
図26は、このようなフレームレート−映像品質第2変化指標特性を示すグラフである。図26において、横軸はフレームレートfr(fps)、縦軸は映像品質第2変化指標t(fr)を示している。
[第3の実施の形態の動作]
次に、図27を参照して、本発明の第3の実施の形態にかかる映像品質推定装置の動作について説明する。図27は、本発明の第3の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置200は、オペレータからの指示操作や推定条件210の入力に応じて、図27の映像品質推定処理を開始する。なお、ここでは、映像品質推定装置200には、前述したフレームレート−最良映像品質特性231A(図24参照)、フレームレート−映像品質第1変化指標特性231B(図25参照)、およびフレームレート−映像品質第2変化指標特性231C(図26参照)が予め用意され、関数式として記憶部231Mに記憶されているものとする。
まず、パラメータ取得部211は、評価対象となる映像通信サービスに関する各種の推定条件210を取得し、推定条件210から映像メディアの符号化処理に関する符号化ビットレートとフレームレートを抽出し、これら入力符号化ビットレートbr(221A)および入力フレームレートfr(221B)を主パラメータ221として出力する(ステップS200)。
推定モデル特定部212は、パラメータ取得部211から出力された主パラメータ221の入力フレームレート221Bに基づいて映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデル222を特定する。
具体的には、まず、最良映像品質算出部212Aにより、記憶部231Mのフレームレート−最良映像品質特性231Aを参照して、入力フレームレートfr(221B)に対応する最良映像品質β(fr)(232A)を算出する(ステップS201)。
続いて、推定モデル特定部212は、映像品質第1変化指標算出部212Bにより、記憶部231Mのフレームレート−映像品質第1変化指標特性231Bを参照して、入力フレームレートfr(221B)に対応する映像品質第1変化指標s(fr)(232B)を算出する(ステップS202)。
同様にして、推定モデル特定部212は、映像品質第2変化指標算出部212Cにより、記憶部231Mのフレームレート−映像品質第2変化指標特性231Cを参照して、入力フレームレートfr(221B)に対応する映像品質第2変化指標t(fr)(232C)を算出する(ステップS203)。
このようにして各推定モデル特定パラメータ232を算出した後、推定モデル特定部212は、推定モデル生成部212Dにより、これら推定モデル特定パラメータ232の最良映像品質β(fr)、映像品質第1変化指標s(fr)および映像品質第2変化指標t(fr)の実際の値を前述した式(9)へ代入することにより、推定モデル222すなわち符号化ビットレート−主観映像品質特性を特定する(ステップS204)。
この後、映像品質推定装置200は、映像品質推定部213により、推定モデル特定部212で特定された推定モデル222を参照して、パラメータ取得部211から出力された主パラメータ221の入力符号化ビットレート221Aに対応する映像品質を算出し、評価対象となる映像通信サービスを利用して端末で再生された映像メディアから視聴者が実感する主観映像品質推定値223として出力し(ステップS205)、一連の映像品質推定処理を終了する。
このように、本実施の形態は、映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレート221Aと、単位時間当たりのフレーム数を示す入力フレームレート221Bを入力として、これら主パラメータ221に対する主観映像品質を推定する際、推定モデル特定部212により、入力フレームレート221Bに基づいて映像メディアの符号化ビットレートと主観映像品質との関係を示す推定モデル222を特定し、特定された推定モデル222を用いて入力符号化ビットレート221Aに対応する主観映像品質を推定し主観映像品質推定値223として出力している。
これにより、推定条件210として入力された入力フレームレート221Bに対応する推定モデル222を参照して、同じく推定条件210として入力された入力符号化ビットレート221Aに対応する主観映像品質推定値223を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、これら符号化ビットレートとフレームレートをそれぞれどの程度に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計・管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
例えば、所望の映像品質で映像メディアを配信したい場合、本実施の形態にかかる映像品質推定装置200を用いれば、カメラで撮影した映像をどの程度の符号化ビットレートとフレームレートで符号化すれば所望の映像品質を満足するかを具体的に把握することができる。特に、ネットワークの制約条件により、符号化ビットレートが制限される場合が多く、このような場合には、当該符号化ビットレートを固定化して本実施の形態にかかる映像品質推定装置200を適用すれば、フレームレートと映像品質との関係を容易かつ具体的に把握できる。
本実施の形態では、推定モデル特定パラメータ232を算出する際に用いる、フレームレート−最良映像品質特性231A、フレームレート−映像品質第1変化指標特性231B、およびフレームレート−映像品質第2変化指標特性231Cが予め関数式の形で用意されている場合を例として説明したが、推定モデル特定パラメータの導出に用いるこれら推定モデル特定パラメータ導出特性231については関数式に限定されるものではなく、入力フレームレートに対応する値として記憶部231Mで記憶しておいてもよい。
図28は、入力フレームレートと各推定モデル特定パラメータとの対応関係を示す推定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ情報は、入力フレームレートfr(221B)と、これに対応する最良映像品質β(fr)(232A)、映像品質第1変化指標s(fr)(232B)、および映像品質第2変化指標t(fr)(232C)との組からなり、予め上記推定モデル特定パラメータ導出特性231に基づき算出して記憶部231Mに記憶されている。
このような推定モデル特定パラメータ情報を参照して、入力フレームレート221Bに対応する推定モデル特定パラメータ232を導出してもよい。
[第4の実施の形態]
次に、図29および図30を参照して、本発明の第4の実施の形態にかかる映像品質推定装置について説明する。図29は、本発明の第4の実施の形態にかかる映像品質推定装置の構成を示すブロック図であり、前述した図19と同じまたは同等部分には同一符号を付してある。図30は、本発明の第4の実施の形態にかかる映像品質推定装置の推定モデル特定部の構成を示すブロック図であり、前述した図20と同じまたは同等部分には同一符号を付してある。
第3の実施の形態では、予め用意されている推定モデル特定パラメータ導出特性231を参照して入力フレームレートに対応する推定モデル特定パラメータ232を導出する場合を例として説明した。本実施の形態では、評価対象となる映像通信サービスに関する各種の推定条件210のうち、映像通信サービスの通信種別、映像メディアを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境に基づいて、推定条件210に応じた推定モデル特定パラメータ導出特性231を逐次特定する場合について説明する。
第3の実施の形態(図19参照)と比較して、本実施の形態にかかる映像品質推定装置200には、係数取得部214と係数データベース(以下、係数DBという)225が追加されている。
係数取得部214は、記憶部225M(第4の記憶部)の係数DB225を参照して、パラメータ取得部211により推定条件210から取得された副パラメータ224に対応する特性係数226を取得する機能を有している。
図31は、係数DBの構成例を示す説明図である。係数DB225は、各種副パラメータ224とこれに対応する各特性係数a',b',c',…,h'(226)との組を示すデータベースである。副パラメータ224には、映像通信サービスの通信種別を示す通信種別パラメータ224A、映像メディアを再生する端末の再生性能を示す再生性能パラメータ224B、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータ224Cがある。
通信種別パラメータ224Aの具体例としては、評価対象となる映像通信サービスで行われる通信種別を示す「タスク」がある。
再生性能パラメータ224Bの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ224Cの具体例としては、端末でのメディア再生の際の「室内照度」などがある。
副パラメータ224は、これらパラメータ例に限定されるものではなく、評価対象となる映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよく、少なくともこれら通信種別パラメータ224A、再生性能パラメータ224B、および再生環境パラメータ224Cのうちの1つ以上から構成されていればよい。
係数取得部214は、予め用意された記憶部225Mの係数DB225を参照して、副パラメータ224に対応する特性係数226を取得する。特性係数226は、推定モデル特定パラメータ232の導出に用いる推定モデル特定パラメータ導出特性を特定するための係数である。
推定モデル特定部212は、係数取得部214で取得された特性係数226により特定された推定モデル特定パラメータ導出特性231、すなわちフレームレート−最良映像品質特性231A、フレームレート−映像品質第1変化指標特性231B、およびフレームレート−映像品質第2変化指標特性231Cを特定する。
[推定モデル特定パラメータ導出特性]
次に、推定モデル特定部212で用いる推定モデル特定パラメータ導出特性231について詳細に説明する。
推定モデル特定パラメータ導出特性231は、係数取得部214により係数DB225から取得される特性係数226を用いてそれぞれ次のようにモデル化することができる。
まず、推定モデル特定パラメータ導出特性231のフレームレート−最良映像品質特性231Aは、前述した図24に示すように、フレームレートの増加とともに最良映像品質が単調増加し、その後ある最大主観映像品質に収束する傾向があり、例えば一般的な指数関数でモデル化することができる。したがって、フレームレートをfrとし、これに対応する最良映像品質をβ(fr)とし、係数をa',b',c'とした場合、フレームレート−最良映像品質特性231Aは、次の式(10)で表すことができる。
Figure 2007129422
次に、推定モデル特定パラメータ導出特性231のフレームレート−映像品質第1変化指標特性231Bは、前述した図25に示すように、フレームレートの増加とともに映像品質第1変化指標が単調増加する傾向があり、例えば一般的な指数関数でモデル化することができる。したがって、フレームレートをfrとし、これに対応する映像品質第1変化指標をs(fr)とし、係数をd',e',f'とした場合、フレームレート−映像品質第1変化指標特性231Bは、次の式(11)で表すことができる。
Figure 2007129422
また、推定モデル特定パラメータ導出特性231のフレームレート−映像品質第2変化指標特性231Cは、前述した図26に示すように、フレームレートの増加とともに映像品質第2変化指標が単調減少する傾向があり、例えば一般的な線形関数でモデル化することができる。したがって、フレームレートをfrとし、これに対応する映像品質第2変化指標をt(fr)とし、係数をg',h'とした場合、フレームレート−映像品質第2変化指標特性231Cは、次の式(12)で表すことができる。
Figure 2007129422
なお、推定モデル特定パラメータ導出特性231のモデル化については、前述した指数関数や線形関数に限定されるものではなく、他の関数を用いてもよい。例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推定条件210の内容によっては、ある程度限定された範囲の入力符号化ビットレートや入力フレームレートでの映像品質推定処理で十分なため、このような局所的な見方が可能な場合には、前述したように、フレームレート−最良映像品質特性231Aやフレームレート−映像品質第1変化指標特性231Bを線形関数等の単純な関数でモデル化することができる。
これに対して、入力符号化ビットレートや入力フレームレートに対して推定モデル特定パラメータの変化が大きい場合には、例えば指数関数やロジスティック関数などの他の関数を用いて、フレームレート−映像品質第2変化指標特性231C、さらにはフレームレート−最良映像品質特性231Aやフレームレート−映像品質第1変化指標特性231Bをモデル化してもよい。
[第4の実施の形態の動作]
次に、図32を参照して、本発明の第4の実施の形態にかかる映像品質推定装置の動作について説明する。図32は、本発明の第4の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートであり、前述した図27と同じまたは同等部分には同一符号を付してある。
映像品質推定装置200は、オペレータからの指示操作や推定条件210の入力に応じて、図32の映像品質推定処理を開始する。なお、ここでは、副パラメータ224として通信種別パラメータ224A、再生性能パラメータ224B、および再生環境パラメータ224Cを用いるものとし、記憶部225Mの係数DB225には、副パラメータ224と特性係数226との組が予め格納されているものとする。
まず、パラメータ取得部211は、評価対象となる映像通信サービスに関する各種の推定条件210を取得し、推定条件210から映像メディアの符号化処理に関する符号化ビットレートとフレームレートを抽出し、これら入力符号化ビットレートbr(221A)および入力フレームレートfr(221B)を主パラメータ221として出力する(ステップS200)。また、パラメータ取得部211は、推定条件210から通信種別パラメータ224A、再生性能パラメータ224B、および再生環境パラメータ224Cを抽出し、これらを副パラメータ224として出力する(ステップS210)。
次に、係数取得部214は、記憶部225Mの係数DB225を参照して、副パラメータ224の値に対応する特性係数a',b',c',…,h'(226)を取得して出力する(ステップS211)。
これに応じて推定モデル特定部212は、最良映像品質算出部212Aにより、特性係数226のうち係数a',b',c'により特定されるフレームレート−最良映像品質特性231Aを参照して、入力フレームレートfr(221B)に対応する最良映像品質β(fr)(232A)を算出する(ステップS201)。
また、推定モデル特定部212は、映像品質第1変化指標算出部212Bにより、特性係数226のうち係数d',e',f'により特定されるフレームレート−映像品質第1変化指標特性231Bを参照して、入力フレームレートfr(221B)に対応する映像品質第1変化指標s(fr)(232B)を算出する(ステップS202)。
同様にして、推定モデル特定部212は、映像品質第2変化指標算出部212Cにより、特性係数226のうち係数g',h'により特定されるフレームレート−映像品質第2変化指標特性231Cを参照して、入力フレームレートfr(221B)に対応する映像品質第2変化指標t(fr)(232C)を算出する(ステップS203)。
このようにして各推定モデル特定パラメータ232を算出した後、推定モデル特定部212は、推定モデル生成部212Dにより、これら推定モデル特定パラメータ232の最良映像品質β(fr)、映像品質第1変化指標s(fr)、および映像品質第2変化指標t(fr)の実際の値を前述した式(9)へ代入することにより、推定モデル222すなわち符号化ビットレート−主観映像品質特性を特定する(ステップS204)。
この後、映像品質推定装置200は、映像品質推定部213により、推定モデル特定部212で特定された推定モデル222を参照して、パラメータ取得部211から出力された主パラメータ221の入力符号化ビットレート221Aに対応する映像品質を算出し、評価対象となる映像通信サービスを利用して端末で再生された映像メディアから視聴者が実感する主観映像品質の主観映像品質推定値223として出力し(ステップS205)、一連の映像品質推定処理を終了する。
このように、本実施の形態は、パラメータ取得部211で取得された、通信種別パラメータ224A、再生性能パラメータ224B、および再生環境パラメータ224Cのうちの1つ以上からなる副パラメータ224に対応する特性係数226を、記憶部225Mの係数DB225から係数取得部214により取得し、推定モデル特定部212により、これら特性係数226により特定される推定モデル特定パラメータ導出特性231に基づいて、入力フレームレート221Bに対応する推定モデル特定パラメータ232を算出するようにしたので、評価対象となる映像通信サービスや端末の具体的な性質に基づく推定モデル特定パラメータ232を導出することができ、映像品質推定の精度を向上させることができる。
特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービスで用いる符号化方式や端末ごとに、映像品質推定モデルを用意しなければならなかった。しかしながら、本実施の形態によれば、映像品質推定モデルが符号化方式や端末に依存せず、映像品質推定モデルに用いる係数を符号化方式や端末に応じて参照するだけで、同じ映像品質推定モデルを利用できる。したがって、異なる環境の映像通信サービスに対して柔軟に対応することができる。
図33は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフである。図33において、横軸は映像品質推定装置を用いて推定した主観映像品質の推定値(MOS値)を示し、縦軸は視聴者が実際にオピニオン評価した主観映像品質の評価値(MOS値)を示している。前述した文献2に基づく従来の映像品質推定装置の推定精度を示す図18に比較して、図33のほうが、評価値と推定値の誤差が少なく、推定精度が向上していることがわかる。なお、これらは特定の推定条件下での比較結果であるが、異なる符号化方式や端末を用いた場合でも、同様の比較結果が確認されている。
[各実施の形態の拡張]
以上の第1および第2の実施の形態では、ガウス関数を用いて推定モデル122をモデル化した場合を例として説明したが、これに限定されるものではなく、二次関数や高次関数などの他の関数を用いてもよい。また、推定モデル122が関数でモデル化されている場合を例として説明したが、関数以外の他のモデル、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。
また、第2の実施の形態で用いた係数DB125の副パラメータと特性係数126の対応関係については、各種副パラメータの組合せごとに各推定モデル特定パラメータ導出特性131を実測し、得られた計測データに対して最小二乗による収束演算を行うことにより、各特性係数126を算出してもよく、このような特性係数算出のための構成を映像品質推定装置100に実装してもよい。
また、第3および第4実施の形態では、ロジスティック関数を用いて推定モデル222をモデル化した場合を例として説明したが、これに限定されるものではなく、二次関数や高次関数などの他の関数を用いてもよい。また、推定モデル222が関数でモデル化されている場合を例として説明したが、関数以外の他のモデル、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。
また、第4の実施の形態で用いた係数DB225の副パラメータと特性係数226の対応関係については、各種副パラメータの組合せごとに各推定モデル特定パラメータ導出特性231を実測し、得られた計測データに対して最小二乗による収束演算を行うことにより、各特性係数226を算出してもよく、このような特性係数算出のための構成を映像品質推定装置200に実装してもよい。
また、各実施の形態では、記憶部131M,125M,231M,225Mなどの記憶部がそれぞれ別個の記憶装置から構成されている場合を例として説明したが、これに限定されるものではなく、各記憶部のうち複数あるいは全部を1つの記憶装置で構成してもよい。

Claims (43)

  1. 複数のフレームに符号化した映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得部と、
    前記映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて前記映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定部と、
    特定された前記推定モデルを用いて前記一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生した前記映像メディアから視聴者が実感する主観映像品質の推定値として出力する映像品質推定部と
    を備えることを特徴とする映像品質推定装置。
  2. 請求項1に記載の映像品質推定装置において、
    前記一方のパラメータに対応する主パラメータが入力符号化ビットレートからなり、前記他方のパラメータがフレームレートからなることを特徴とする映像品質推定装置。
  3. 請求項2に記載の映像品質推定装置において、
    前記推定モデル特定部は、前記入力符号化ビットレートで送信された前記映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートを算出する最適フレームレート算出部と、前記入力符号化ビットレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出部と、前記最適フレームレートと前記最良映像品質とを含む推定モデル特定パラメータに基づいて前記推定モデルを生成する推定モデル生成部とを備えることを特徴とする映像品質推定装置。
  4. 請求項3に記載の映像品質推定装置において、
    前記推定モデル特定部は、前記入力符号化ビットレートで送信された前記映像メディアに関する、その最良映像品質からの劣化度合いを示す映像品質劣化指標を算出する映像品質劣化指標算出部をさらに備え、
    前記推定モデル生成部は、前記最適フレームレート、前記最良映像品質、および前記映像品質劣化指標を含む推定モデル特定パラメータに基づいて前記推定モデルを生成する
    ことを特徴とする映像品質推定装置。
  5. 請求項3に記載の映像品質推定装置において、
    前記推定モデルは、前記映像メディアの符号化ビットレートが前記入力符号化ビットレートで一定の場合に、前記最適フレームレートにおける前記最良映像品質を頂点として凸型をなすフレームレート−映像品質特性からなることを特徴とする映像品質推定装置。
  6. 請求項5に記載の映像品質推定装置において、
    前記推定モデルは、前記最適フレームレートにおける前記最良映像品質を頂点として凸型をなすガウス関数からなることを特徴とする映像品質推定装置。
  7. 請求項3に記載の映像品質推定装置において、
    前記最適フレームレート算出部は、前記符号化ビットレートの増加に応じて前記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出することを特徴とする映像品質推定装置。
  8. 請求項3に記載の映像品質推定装置において、
    前記最良映像品質算出部は、前記符号化ビットレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大主観映像品質値に収束する符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出することを特徴とする映像品質推定装置。
  9. 請求項4に記載の映像品質推定装置において、
    前記映像品質劣化指標算出部は、前記符号化ビットレートの増加に応じて前記映像品質劣化指標が単調増加する符号化ビットレート−映像品質劣化指標特性に基づいて、前記入力符号化ビットレートに対応する映像品質劣化指標を算出することを特徴とする映像品質推定装置。
  10. 請求項3に記載の映像品質推定装置において、
    前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性と、前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質との関係を示す符号化ビットレート−最良映像品質特性とを記憶する第1の記憶部をさらに備え、
    前記最適フレームレート算出部は、前記符号化ビットレート−最適フレームレート特性を参照して前記入力符号化ビットレートに対応する最適フレームレートを算出し、前記最良映像品質算出部は、前記符号化ビットレート−最良映像品質特性を参照して前記入力符号化ビットレートに対応する最良映像品質を算出する
    ことを特徴とする映像品質推定装置。
  11. 請求項10に記載の映像品質推定装置において、
    前記第1の記憶部は、前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアに関する、その最良映像品質からの劣化度合いを示す映像品質劣化指標との関係を示す符号化ビットレート−映像品質劣化指標特性をさらに記憶し、
    前記映像品質劣化指標算出部は、前記符号化ビットレート−映像品質劣化指標特性を参照して前記入力符号化ビットレートに対応する映像品質劣化指標を算出する
    ことを特徴とする映像品質推定装置。
  12. 請求項2に記載の映像品質推定装置において、
    前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係を記憶する第2の記憶部と、前記第2の記憶部を参照して前記パラメータ取得部で取得された副パラメータに対応する特性係数を取得する係数取得部とをさらに備え、
    前記推定モデル特定部は、前記特性係数により特定される、符号化ビットレートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定パラメータを算出する
    ことを特徴とする映像品質推定装置。
  13. 請求項1に記載の映像品質推定装置において、
    前記一方のパラメータに対応する主パラメータが入力フレームレートからなり、前記他方のパラメータが符号化ビットレートからなることを特徴とする映像品質推定装置。
  14. 請求項13に記載の映像品質推定装置において、
    前記推定モデル特定部は、前記入力フレームレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出部と、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第1変化指標を算出する映像品質第1変化指標算出部と、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第2変化指標を算出する映像品質第2変化指標算出部と、前記最良映像品質、前記映像品質第1変化指標、および前記映像品質第2変化指標を含む推定モデル特定パラメータに基づいて前記推定モデルを生成する推定モデル生成部とを備えることを特徴とする映像品質推定装置。
  15. 請求項14に記載の映像品質推定装置において、
    前記推定モデルは、前記映像メディアのフレームレートが前記入力フレームレートで一定の場合に、前記映像メディアの符号化ビットレートの増加に応じて前記主観映像品質が前記映像品質第1変化指標および前記映像品質第2変化指標に基づく変化度合いで単調増加し前記最良映像品質へ収束する符号化ビットレート−映像品質特性からなることを特徴とする映像品質推定装置。
  16. 請求項15に記載の映像品質推定装置において、
    前記推定モデルは、前記映像メディアの符号化ビットレートの増加に応じて単調増加し前記最良映像品質へ収束するロジスティック関数からなることを特徴とする映像品質推定装置。
  17. 請求項14に記載の映像品質推定装置において、
    前記最良映像品質算出部は、前記フレームレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大値に収束するフレームレート−最良映像品質特性に基づいて、前記入力フレームレートに対応する最良映像品質を算出することを特徴とする映像品質推定装置。
  18. 請求項14に記載の映像品質推定装置において、
    前記映像品質第1変化指標算出部は、前記フレームレートの増加に応じて前記映像品質第1変化指標が単調増加するフレームレート−映像品質第1変化指標特性に基づいて、前記入力フレームレートに対応する映像品質第1変化指標を算出することを特徴とする映像品質推定装置。
  19. 請求項14に記載の映像品質推定装置において、
    前記映像品質第2変化指標算出部は、前記フレームレートの増加に応じて前記映像品質第2変化指標が単調減少するフレームレート−映像品質第2変化指標特性に基づいて、前記入力フレームレートに対応する映像品質第2変化指標を算出することを特徴とする映像品質推定装置。
  20. 請求項14に記載の映像品質推定装置において、
    前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質との関係を示すフレームレート−最良映像品質特性と、前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第1変化指標との関係を示すフレームレート−映像品質第1変化指標特性と、前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第2変化指標との関係を示すフレームレート−映像品質第2変化指標特性とを記憶する第3の記憶部をさらに備え、
    前記最良映像品質算出部は、前記フレームレート−最良映像品質特性を参照して前記入力フレームレートに対応する最良映像品質を算出し、前記映像品質第1変化指標算出部は、前記フレームレート−映像品質第1変化指標特性を参照して前記入力フレームレートに対応する映像品質第1変化指標を算出し、前記映像品質第2変化指標算出部は、前記フレームレート−映像品質第2変化指標特性を参照して前記入力フレームレートに対応する映像品質第2変化指標を算出する
    ことを特徴とする映像品質推定装置。
  21. 請求項13に記載の映像品質推定装置において、
    前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係を記憶する第4の記憶部と、前記第4の記憶部を参照して前記パラメータ取得部で取得された副パラメータに対応する特性係数を取得する係数取得部とをさらに備え、
    前記推定モデル特定部は、前記特性係数により特定される、符号化ビットレートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定パラメータを算出する
    ことを特徴とする映像品質推定装置。
  22. パラメータ取得部により、複数のフレームに符号化した映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得ステップと、
    推定モデル特定部により、前記映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて前記映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと、
    映像品質推定部により、特定された前記推定モデルを用いて前記一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生した前記映像メディアから視聴者が実感する主観映像品質の推定値として出力する映像品質推定ステップと
    を備えることを特徴とする映像品質推定方法。
  23. 請求項22に記載の映像品質推定方法において、
    前記一方のパラメータに対応する主パラメータが入力符号化ビットレートからなり、前記他方のパラメータがフレームレートからなることを特徴とする映像品質推定方法。
  24. 請求項23に記載の映像品質推定方法において、
    前記推定モデル特定ステップは、前記入力符号化ビットレートで送信された前記映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートを算出する最適フレームレート算出ステップと、前記入力符号化ビットレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出ステップと、前記最適フレームレートと前記最良映像品質とを含む推定モデル特定パラメータに基づいて前記推定モデルを生成する推定モデル生成ステップとを備えることを特徴とする映像品質推定方法。
  25. 請求項24に記載の映像品質推定方法において、
    前記推定モデル特定ステップは、前記入力符号化ビットレートで送信された前記映像メディアに関する、その最良映像品質からの劣化度合いを示す映像品質劣化指標を算出する映像品質劣化指標算出ステップをさらに備え、
    前記推定モデル生成ステップは、前記最適フレームレート、前記最良映像品質、および前記映像品質劣化指標を含む推定モデル特定パラメータに基づいて前記推定モデルを生成する
    ことを特徴とする映像品質推定方法。
  26. 請求項24に記載の映像品質推定方法において、
    前記推定モデルは、前記映像メディアの符号化ビットレートが前記入力符号化ビットレートで一定の場合に、前記最適フレームレートにおける前記最良映像品質を頂点として凸型をなすフレームレート−映像品質特性からなることを特徴とする映像品質推定方法。
  27. 請求項26に記載の映像品質推定方法において、
    前記推定モデルは、前記最適フレームレートにおける前記最良映像品質を頂点として凸型をなすガウス関数からなることを特徴とする映像品質推定方法。
  28. 請求項24に記載の映像品質推定方法において、
    前記最適フレームレート算出ステップは、前記符号化ビットレートの増加に応じて前記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出することを特徴とする映像品質推定方法。
  29. 請求項24に記載の映像品質推定方法において、
    前記最良映像品質算出ステップは、前記符号化ビットレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大主観映像品質値に収束する符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出することを特徴とする映像品質推定方法。
  30. 請求項25に記載の映像品質推定方法において、
    前記映像品質劣化指標算出ステップは、前記符号化ビットレートの増加に応じて前記映像品質劣化指標が単調増加する符号化ビットレート−映像品質劣化指標特性に基づいて、前記入力符号化ビットレートに対応する映像品質劣化指標を算出することを特徴とする映像品質推定方法。
  31. 請求項24に記載の映像品質推定方法において、
    第1の記憶部により、前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性と、前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質との関係を示す符号化ビットレート−最良映像品質特性とを記憶する第1の記憶ステップをさらに備え、
    前記最適フレームレート算出ステップは、前記符号化ビットレート−最適フレームレート特性を参照して前記入力符号化ビットレートに対応する最適フレームレートを算出し、前記最良映像品質算出ステップは、前記符号化ビットレート−最良映像品質特性を参照して前記入力符号化ビットレートに対応する最良映像品質を算出する
    ことを特徴とする映像品質推定方法。
  32. 請求項31に記載の映像品質推定方法において、
    前記第1の記憶ステップは、前記第1の記憶部により、前記映像メディアの符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアに関する、その最良映像品質からの劣化度合いを示す映像品質劣化指標との関係を示す符号化ビットレート−映像品質劣化指標特性をさらに記憶し、
    前記映像品質劣化指標算出ステップは、前記符号化ビットレート−映像品質劣化指標特性を参照して前記入力符号化ビットレートに対応する映像品質劣化指標を算出する
    ことを特徴とする映像品質推定方法。
  33. 請求項23に記載の映像品質推定方法において、
    第2の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係を記憶する第2の記憶ステップと、係数取得部により、前記第2の記憶部を参照して前記パラメータ取得ステップで取得された副パラメータに対応する特性係数を取得する係数取得ステップとをさらに備え、
    前記推定モデル特定ステップは、前記特性係数により特定される、符号化ビットレートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定パラメータを算出する
    ことを特徴とする映像品質推定方法。
  34. 請求項22に記載の映像品質推定方法において、
    前記一方のパラメータに対応する主パラメータが入力フレームレートからなり、前記他方のパラメータが符号化ビットレートからなることを特徴とする映像品質推定方法。
  35. 請求項34に記載の映像品質推定方法において、
    前記推定モデル特定ステップは、前記入力フレームレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出ステップと、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第1変化指標を算出する映像品質第1変化指標算出ステップと、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第2変化指標を算出する映像品質第2変化指標算出ステップと、前記最良映像品質、前記映像品質第1変化指標、および前記映像品質第2変化指標を含む推定モデル特定パラメータに基づいて前記推定モデルを生成する推定モデル生成ステップとを備えることを特徴とする映像品質推定方法。
  36. 請求項35に記載の映像品質推定方法において、
    前記推定モデルは、前記映像メディアのフレームレートが前記入力フレームレートで一定の場合に、前記映像メディアの符号化ビットレートの増加に応じて前記主観映像品質が前記映像品質第1変化指標および前記映像品質第2変化指標に基づく変化度合いで単調増加し前記最良映像品質へ収束する符号化ビットレート−映像品質特性からなることを特徴とする映像品質推定方法。
  37. 請求項36に記載の映像品質推定方法において、
    前記推定モデルは、前記映像メディアの符号化ビットレートの増加に応じて単調増加し前記最良映像品質へ収束するロジスティック関数を用いることを特徴とする映像品質推定方法。
  38. 請求項35に記載の映像品質推定方法において、
    前記最良映像品質算出ステップは、前記フレームレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大値に収束するフレームレート−最良映像品質特性に基づいて、前記入力フレームレートに対応する最良映像品質を算出することを特徴とする映像品質推定方法。
  39. 請求項35に記載の映像品質推定方法において、
    前記映像品質第1変化指標算出ステップは、前記フレームレートの増加に応じて前記映像品質第1変化指標が単調増加するフレームレート−映像品質第1変化指標特性に基づいて、前記入力フレームレートに対応する映像品質第1変化指標を算出することを特徴とする映像品質推定方法。
  40. 請求項35に記載の映像品質推定方法において、
    前記映像品質第2変化指標算出ステップは、前記フレームレートの増加に応じて前記映像品質第2変化指標が単調減少するフレームレート−映像品質第2変化指標特性に基づいて、前記入力フレームレートに対応する映像品質第2変化指標を算出することを特徴とする映像品質推定方法。
  41. 請求項35に記載の映像品質推定方法において、
    第3の記憶部により、前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質の最良値を示す最良映像品質との関係を示すフレームレート−最良映像品質特性と、前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第1変化指標との関係を示すフレームレート−映像品質第1変化指標特性と、前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第2変化指標との関係を示すフレームレート−映像品質第2変化指標特性とを記憶する第3の記憶ステップをさらに備え、
    前記最良映像品質算出ステップは、前記フレームレート−最良映像品質特性を参照して前記入力フレームレートに対応する最良映像品質を算出し、前記映像品質第1変化指標算出ステップは、前記フレームレート−映像品質第1変化指標特性を参照して前記入力フレームレートに対応する映像品質第1変化指標を算出し、前記映像品質第2変化指標算出ステップは、前記フレームレート−映像品質第2変化指標特性を参照して前記入力フレームレートに対応する映像品質第2変化指標を算出する
    ことを特徴とする映像品質推定方法。
  42. 請求項34に記載の映像品質推定方法において、
    第4の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係を記憶する第4の記憶ステップと、係数取得部により、前記第4の記憶部を参照して前記パラメータ取得ステップで取得された副パラメータに対応する特性係数を取得する係数取得ステップとをさらに備え、
    前記推定モデル特定ステップは、前記特性係数により特定される、符号化ビットレートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定パラメータを算出する
    ことを特徴とする映像品質推定方法。
  43. 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を所定の推定モデルを用いて算出する映像品質推定装置のコンピュータに、
    パラメータ取得部により、前記映像メディアに関する、単位時間当たりの符号化ビット数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ取得ステップと、
    推定モデル特定部により、前記映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータに基づいて前記映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと、
    映像品質推定部により、特定された前記推定モデルを用いて前記一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し前記推定値として出力する映像品質推定ステップと
    を実行させるプログラム。
JP2007516127A 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム Active JP4594389B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2006130080 2006-05-09
JP2006130090 2006-05-09
JP2006130090 2006-05-09
JP2006130080 2006-05-09
PCT/JP2006/323731 WO2007129422A1 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010178792A Division JP4913893B2 (ja) 2006-05-09 2010-08-09 映像品質推定装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2007129422A1 true JPWO2007129422A1 (ja) 2009-09-17
JP4594389B2 JP4594389B2 (ja) 2010-12-08

Family

ID=38667536

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007516127A Active JP4594389B2 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム
JP2010178792A Active JP4913893B2 (ja) 2006-05-09 2010-08-09 映像品質推定装置、方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010178792A Active JP4913893B2 (ja) 2006-05-09 2010-08-09 映像品質推定装置、方法、およびプログラム

Country Status (6)

Country Link
EP (1) EP2018068B1 (ja)
JP (2) JP4594389B2 (ja)
KR (1) KR100933509B1 (ja)
CN (1) CN101151904B (ja)
CA (1) CA2604053C (ja)
WO (1) WO2007129422A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151904B (zh) * 2006-05-09 2010-06-16 日本电信电话株式会社 视频品质评估设备、方法
JP4802209B2 (ja) * 2008-05-09 2011-10-26 日本電信電話株式会社 映像品質推定方法、装置およびプログラム
JP5221459B2 (ja) * 2009-07-01 2013-06-26 日本電信電話株式会社 映像品質推定装置、システム、方法およびプログラム
BR112012008605B1 (pt) 2009-10-22 2021-09-08 Nippon Telegraph And Telephone Corporation Aparelho e método de estimação de qualidade de vídeo
CN102075965A (zh) * 2009-11-24 2011-05-25 中国移动通信集团天津有限公司 一种移动终端性能评估方法和装置
CN105847788B (zh) 2010-01-11 2018-04-06 瑞典爱立信有限公司 视频质量估计技术
JP5450279B2 (ja) * 2010-06-16 2014-03-26 日本電信電話株式会社 映像品質客観評価装置及び方法及びプログラム
CN101895787B (zh) * 2010-07-21 2012-09-12 深圳市融创天下科技股份有限公司 一种视频编码性能主观评价方法及系统
ES2586946T3 (es) * 2010-07-30 2016-10-19 Deutsche Telekom Ag Método y aparato para evaluar la calidad de una secuencia de vídeo mediante la sincronización temporal del flujo de bits encriptado de un codificador de vídeo con la secuencia de vídeo procesada obtenida por un descodificador de vídeo exterior
CN103686176B (zh) * 2013-12-30 2016-09-21 清华大学 一种用于视频编码的码率估计方法
JP6466963B2 (ja) * 2014-11-17 2019-02-06 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
JP6388613B2 (ja) * 2016-02-24 2018-09-12 三菱電機ビルテクノサービス株式会社 画像処理装置、設計支援システム及びプログラム
CN106209920B (zh) * 2016-09-19 2019-11-22 贵州白山云科技股份有限公司 一种dns服务器的安全防护方法以及装置
WO2018142947A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 情報処理装置および方法
KR102452313B1 (ko) * 2017-11-29 2022-10-07 한국전자통신연구원 인지 민감도를 고려하는 영상 화질 측정 방법 및 장치
JP7073894B2 (ja) 2018-05-09 2022-05-24 日本電信電話株式会社 エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
CN108769179A (zh) * 2018-05-23 2018-11-06 北京顺丰同城科技有限公司 一种服务健康状态评估方法及装置
CN109286812B (zh) * 2018-10-24 2020-06-05 华中科技大学 一种hevc视频质量估计方法
CN113382237B (zh) * 2021-06-08 2022-11-04 北京杰瑞创通科技有限公司 实时视频传输的自适应动态抗网络丢包智能信源解码方法
CN115550598A (zh) * 2022-09-14 2022-12-30 北京融讯科创技术有限公司 视频会议配置方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343415A (ja) * 2003-05-15 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 符号化条件決定方法及び符号化方法及び符号化条件決定装置及び符号化システム
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
CN101151904B (zh) * 2006-05-09 2010-06-16 日本电信电话株式会社 视频品质评估设备、方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343415A (ja) * 2003-05-15 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 符号化条件決定方法及び符号化方法及び符号化条件決定装置及び符号化システム
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CSNG200400583006, 稲積泰広 他, "ビットレート制限下における動画像通信のための最適フレームレートの推定", 電子情報通信学会論文誌 B, 200207, Vol.J85−B,No.7, pp.1130−1142, 社団法人電子情報通信学会 *
CSNG200401891005, 宮田高道 他, "動画像の品質主導型スケーラブル符号化", 情報処理学会研究報告, 20031003, Vol.2003,No.99,2003−AVM−42, pp.29−34, 社団法人情報処理学会 *
CSNG200600327009, 荒山裕介 他, "符号化パラメータとパケット損失を考慮したAV通信品質の推定モデル", 電子情報通信学会技術研究報告, 200511, Vol.105,No.406,CQ2005−77, pp.57−60, 社団法人電子情報通信学会 *
CSNG200700095011, 山岸和久 他, "映像コミュニケーションサービスに対する表示サイズ・解像度を考慮した映像品質推定モデル", 電子情報通信学会技術研究報告, 200509, Vol.105,No.282,CQ2005−60, pp.61−64, 社団法人電子情報通信学会 *
JPN6010030684, 稲積泰広 他, "ビットレート制限下における動画像通信のための最適フレームレートの推定", 電子情報通信学会論文誌 B, 200207, Vol.J85−B,No.7, pp.1130−1142, 社団法人電子情報通信学会 *
JPN6010030687, 山岸和久 他, "映像コミュニケーションサービスに対する表示サイズ・解像度を考慮した映像品質推定モデル", 電子情報通信学会技術研究報告, 200509, Vol.105,No.282,CQ2005−60, pp.61−64, 社団法人電子情報通信学会 *
JPN6010030690, 宮田高道 他, "動画像の品質主導型スケーラブル符号化", 情報処理学会研究報告, 20031003, Vol.2003,No.99,2003−AVM−42, pp.29−34, 社団法人情報処理学会 *
JPN6010030693, 荒山裕介 他, "符号化パラメータとパケット損失を考慮したAV通信品質の推定モデル", 電子情報通信学会技術研究報告, 200511, Vol.105,No.406,CQ2005−77, pp.57−60, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
JP4913893B2 (ja) 2012-04-11
JP4594389B2 (ja) 2010-12-08
WO2007129422A1 (ja) 2007-11-15
CN101151904B (zh) 2010-06-16
EP2018068A4 (en) 2011-10-05
JP2010252400A (ja) 2010-11-04
CA2604053A1 (en) 2007-11-09
KR100933509B1 (ko) 2009-12-23
EP2018068B1 (en) 2016-06-22
CA2604053C (en) 2012-07-10
KR20080007550A (ko) 2008-01-22
CN101151904A (zh) 2008-03-26
EP2018068A1 (en) 2009-01-21

Similar Documents

Publication Publication Date Title
JP4594389B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4490483B2 (ja) 映像品質推定装置、方法、およびプログラム
US7965203B2 (en) Video quality estimation apparatus, method, and program
JP4486130B2 (ja) 映像コミュニケーション品質推定装置、方法、およびプログラム
JP4796019B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2009188969A (ja) 映像品質推定装置、方法およびプログラム
JP4490374B2 (ja) 映像品質評価装置および方法
JP4787210B2 (ja) 映像品質推定方法、装置、およびプログラム
JP4451856B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4451857B2 (ja) 映像品質パラメータ推定装置、方法、およびプログラム
JP2006128972A (ja) 双方向マルチモーダルサービス品質推定装置および方法
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4408120B2 (ja) 映像品質推定装置、方法、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4594389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350