JP4451856B2 - 映像品質推定装置、方法、およびプログラム - Google Patents
映像品質推定装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP4451856B2 JP4451856B2 JP2006130103A JP2006130103A JP4451856B2 JP 4451856 B2 JP4451856 B2 JP 4451856B2 JP 2006130103 A JP2006130103 A JP 2006130103A JP 2006130103 A JP2006130103 A JP 2006130103A JP 4451856 B2 JP4451856 B2 JP 4451856B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- bit rate
- video quality
- estimation
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、映像メディアを複数のフレームに符号化して転送するという符号化通信方式が用いられる。
また、非特許文献3は、符号化ビットレートとパケット損失の関係から映像品質を定式化した映像品質推定法であり、時間的劣化の一要因であるフレームレートが考慮されていないといった問題点がある。さらに、映像品質は符号化ビットレートの増加に伴い、任意の最大値に収束する特性を有しているのに対して、非特許文献3では、映像品質を二次関数で推定しているため、ある符号化ビットレート以上になると映像品質の低下を招く推定モデルとなり、上記特性と反する結果を示している。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するトレードオフを考慮して、符号化ビットレートをどの程度に設定するとどの程度の最良映像品質が得られるか、そしてそのときどの程度の最適フレームレートが必要となるか、という具体的で有用な品質設計・管理指針を得ることができ、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
[映像品質推定装置]
まず、図1を参照して、本発明の一実施の形態にかかる映像品質推定装置について説明する。図1は、本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置1は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、その映像メディアに関する推定条件を入力として、端末で再生された当該映像メディアから視聴者が実感する最良の主観映像品質すなわち最良映像品質の推定値を、所定の推定モデルに基づいて算出する。
映像品質推定装置1には、主な機能部として、パラメータ取得部11、係数取得部12、最良映像品質推定部13A、および最適フレームレート推定部13Bが設けられている。
再生性能パラメータ22Bの具体例としては、映像メディアの符号化に関する「符号化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ22Cの具体例としては、端末でのメディア再生の際の「室内照度」などがある。
図2は、係数DBの構成例を示す説明図である。係数DB23は、各種副パラメータ22とこれに対応する各特性係数a,b,…,e(24)との組を示すデータベースである。
特性係数24は、最良映像品質推定値26Aさらには最適フレームレート推定値26Bからなる最良パラメータ26の推定に用いる推定モデル25の関数形状を特定するための係数である。
次に、図3を参照して、映像通信サービスにおける映像メディアの主観映像品質特性について説明する。図3は、映像通信サービスにおける映像メディアのフレームレート−主観映像品質特性を示すグラフである。図3において、横軸はフレームレートfr(fps)、縦軸は主観映像品質値MOS(fr,br)(MOS値)を示し、符号化ビットレートbrごとの特性が示されている。
具体的には、ある符号化ビットレートで映像を符号化して提供する際、高いフレームレートで映像を符号化すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号化すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣化する場合がある。
また、副パラメータ22ごとに、符号化ビットレートと最適フレームレートとの関係を得ることにより、推定モデル25として符号化ビットレート−最適フレームレート特性25Bを導出し、この符号化ビットレート−最適フレームレート特性25Bに基づき所望の最良パラメータ26として最適フレームレート推定値26Bを算出している。
次に、最良映像品質推定値26Aや最適フレームレート推定値26Bの推定に用いる推定モデル25について詳細に説明する。
図3に示された各特性のうち、符号化ビットレートと最良映像品質の関係は、符号化ビットレートの増加とともに映像品質が増加し、ある最大値(最大主観映像品質値)に収束するとともに、符号化ビットレートの低下とともに映像品質も低下し、ある最小値に収束する、という傾向が見られる。
また、符号化ビットレートを下げすぎると映像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例えば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦になり、顔自体を認識できなくなる、という実際の現象と一致している。
図5は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数p>1のとき変数xの増加に応じて関数yの値が単調増加する関数であり、変数xの減少に応じて関数値yが最小値へ収束し、変数xの増大に応じて関数値yが最大値へ収束する。最小値をA1、最大値をA2、係数をp,x0とした場合、任意の変数xに対する関数yの値は、最大値A2の項と最大値A2からの減少分を示す分数項からなる、次の式(1)で求められる。
図7は、このような符号化ビットレート−最適フレームレート特性を示すグラフである。図7において、横軸は符号化ビットレートbr(kbps)、縦軸は最適フレームレートofr(br)(fps)を示している。
次に、図8を参照して、本発明の一実施の形態にかかる映像品質推定装置の動作について説明する。図8は、本発明の一実施の形態にかかる映像品質推定装置の最良映像品質推定処理を示すフローチャートである。
これに応じて最良映像品質推定部13Aは、特性係数24のうち係数a,b,cにより特定される符号化ビットレート−最良映像品質特性25Aを参照して、前述した式(2)に入力符号化ビットレートbr(21A)を代入することにより、入力符号化ビットレートbr(21A)に対応する最良映像品質推定値β(br)(26A)を算出して出力する(ステップ103)。
以上の実施の形態では、ロジステック関数を用いて推定モデル25の符号化ビットレート−最良映像品質特性25Aをモデル化した場合を例として説明したが、これに限定されるものではなく、他の関数を用いてもよい。例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推定条件10の内容によっては、ある程度限定された範囲の入力符号化ビットレートでの最良映像品質推定処理で十分なため、このような局所的な見方が可能な場合には、前述したように、符号化ビットレート−最良映像品質特性25Aを線形関数等の単純な関数でモデル化することができる。
また、以上の実施の形態では、推定モデル25が関数でモデル化されている場合を例として説明したが、関数以外の他のモデル、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルであってもよい。
このような場合には、評価対象に対応する推定モデル25、すなわち符号化ビットレート−最良映像品質特性25Aや符号化ビットレート−最適フレームレート特性25Bを予め用意して記憶部に保存しておけばよい。これにより、係数取得部12および係数DB23を省くことができる。
Claims (5)
- 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置であって、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶部と、
推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得部と、
前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得部と、
前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定部と、
前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定部と
を備えることを特徴とする映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記最良映像品質推定部は、前記符号化ビットレートの増加に応じて前記最良映像品質が単調増加した後に所定の最大主観映像品質値に収束する符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出することを特徴とする映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記最適フレームレート推定部は、前記符号化ビットレートの増加に応じて前記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出することを特徴とする映像品質推定装置。 - 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置で用いられる映像品質推定方法であって、
記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
パラメータ取得部により、推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
最良映像品質推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定ステップと、
最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定ステップと
を備えることを特徴とする映像品質推定方法。 - 複数のフレームに符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の最良値を示す最良映像品質の推定値を所定の推定モデルに基づき算出する映像品質推定装置のコンピュータに、
記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの1つ以上からなる副パラメータについて、前記推定モデルの特定に用いる特性係数との対応関係を記憶する記憶ステップと、
パラメータ取得部により、推定条件として前記映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレートと前記映像通信または前記端末に関する副パラメータを取得するパラメータ取得ステップと、
係数取得部より、前記パラメータ取得部で取得された副パラメータに対応する特性係数を前記記憶部から取得する係数取得ステップと、
最良映像品質推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信されたときの最良映像品質との関係を示す符号化ビットレート−最良映像品質特性に基づいて、前記入力符号化ビットレートに対応する最良映像品質を算出し前記推定値として出力する最良映像品質推定ステップと、
最適フレームレート推定部により、前記係数取得部で取得された特性係数により特定される、前記映像メディアに関する符号化ビットレートと当該符号化ビットレートで送信された前記映像メディアが最良映像品質となるフレームレートを示す最適フレームレートとの関係を示す符号化ビットレート−最適フレームレート特性に基づいて、前記入力符号化ビットレートに対応する最適フレームレートを算出し最適フレームレート推定値として出力する最適フレームレート推定ステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006130103A JP4451856B2 (ja) | 2006-05-09 | 2006-05-09 | 映像品質推定装置、方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006130103A JP4451856B2 (ja) | 2006-05-09 | 2006-05-09 | 映像品質推定装置、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007306108A JP2007306108A (ja) | 2007-11-22 |
JP4451856B2 true JP4451856B2 (ja) | 2010-04-14 |
Family
ID=38839704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006130103A Active JP4451856B2 (ja) | 2006-05-09 | 2006-05-09 | 映像品質推定装置、方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4451856B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5237226B2 (ja) * | 2009-08-25 | 2013-07-17 | 日本電信電話株式会社 | 映像品質推定装置、方法、およびプログラム |
JP6145069B2 (ja) * | 2014-04-30 | 2017-06-07 | 日本電信電話株式会社 | 主観画質推定装置及び主観画質推定プログラム |
CN105847970A (zh) * | 2016-04-06 | 2016-08-10 | 华为技术有限公司 | 视频显示质量的计算方法及设备 |
CN116055712B (zh) * | 2022-08-16 | 2024-04-05 | 荣耀终端有限公司 | 成片率确定方法、装置、芯片、电子设备及介质 |
-
2006
- 2006-05-09 JP JP2006130103A patent/JP4451856B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007306108A (ja) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4594389B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4490483B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
US7965203B2 (en) | Video quality estimation apparatus, method, and program | |
JP4486130B2 (ja) | 映像コミュニケーション品質推定装置、方法、およびプログラム | |
JP5172440B2 (ja) | 映像品質推定装置、方法およびプログラム | |
JP4796019B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4802209B2 (ja) | 映像品質推定方法、装置およびプログラム | |
JP4787210B2 (ja) | 映像品質推定方法、装置、およびプログラム | |
JP4451856B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4861371B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4451857B2 (ja) | 映像品質パラメータ推定装置、方法、およびプログラム | |
WO2021181681A1 (ja) | 数理モデル導出装置、数理モデル導出方法及びプログラム | |
JP5350300B2 (ja) | トランスコード映像品質客観評価装置及び方法及びプログラム | |
JP4802200B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4740967B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP5292343B2 (ja) | 映像品質客観評価装置及び方法及びプログラム | |
JP4408120B2 (ja) | 映像品質推定装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100126 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100128 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4451856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |