JP5992866B2 - 主観画質推定装置、及び、主観画質推定プログラム - Google Patents
主観画質推定装置、及び、主観画質推定プログラム Download PDFInfo
- Publication number
- JP5992866B2 JP5992866B2 JP2013109131A JP2013109131A JP5992866B2 JP 5992866 B2 JP5992866 B2 JP 5992866B2 JP 2013109131 A JP2013109131 A JP 2013109131A JP 2013109131 A JP2013109131 A JP 2013109131A JP 5992866 B2 JP5992866 B2 JP 5992866B2
- Authority
- JP
- Japan
- Prior art keywords
- subjective
- moving image
- image quality
- quality estimation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013139 quantization Methods 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 description 58
- 230000014509 gene expression Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 29
- 238000011156 evaluation Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013441 quality evaluation Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
圧縮前(符号化前)の原画像及び復号画像、または送信画像及び受信画像を用いて評価する方法。
(ii)No Reference(NR)型
復号画像又は受信画像のみを用いて評価する方法。
(iii)Reduced Reference(RR)型
情報量が制限された原画像又は送信画像の画像特徴量、及び、復号画像又は受信画像を用いて評価する方法。
多くの主観画質推定方法は、上記の三つの分類のいずれかに属している(非特許文献5〜7参照)。ここで、FR型の主観画質推定式構築までの動作手順を説明する。
(ステップS20)動画像の符号化前データ(原画像)Ii(0<i≦N。Nは1以上の整数)、テスト画像Diを用意し、主観評価実験が行われることで、主観画質推定式は、主観評価値siを取得する。
(ステップS21)動画像の符号化前データ(原画像)Ii、テスト画像Diから特徴f1,…,fMが取り出され、主観画質推定式S(f1,…、fM|Di、Ii)は、N個の組み合わせに対して構築される。
(ステップS23)任意の動画像の符号化前データ(原画像)I及び復号画像Dから取り出した特徴f1,…,fMと、主観画質推定式S(f1,…,fM)と、に基づいて、主観画質が推定される。ここで、特徴f1、…、fMは、画素信号を特徴とした場合も包含するものとする。
(ステップS30)HASでは、候補の画素数、フレームレート、又は、ビットレート若しくは量子化パラメータにより、動画像が符号化される。
(ステップS31)得られた符号化データが復号され、主観画質推定値が算出される。
(ステップS33)主観画質推定値が最大となる画素数及びフレームレートは、候補の組み合わせから決定されて、出力される。
エンコーダ11は、レートコントロール部111を有する。レートコントロール部111は、動画像の符号化におけるレートコントロールを実行する。
QP予測式算出部13は、パラメータ記憶部12に格納された1画素あたりの平均符号量と、量子化パラメータとに基づいて、QP予測式を生成し、生成したQP予測式をQP予測式生成部14に出力する。
(ステップS100)エンコーダ11は、任意のM個の候補の画素数pと、フレームレートfと、ビットレートBとにより、動画像を符号化する。
(ステップS101)QP予測式算出部13は、量子化パラメータ(QP)と、1画素(1ピクセル)あたりの平均符号量との関係式(QP予測式)を生成する。
(ステップS102)画像特徴量算出部20は、所定データ(例えば、動画像の符号化前データ)に基づいて、動画像の画像特徴量vを算出する。
(ステップS106)主観画質推定部18は、主観画質推定値sを出力する。
図3は、主観画質推定装置の基本動作の手順例を示すフローチャートである。主観画質推定装置の基本動作の手順処理は、QP予測式を生成する処理と、量子化パラメータを予測する処理(予測QPを算出する処理)と、画像特徴量を算出する処理と、主観画質推定式S(q,p,f,v)に基づいて主観画質を推定する処理(主観画質推定値を算出する処理)と、に分けることができる。
(ステップS200)QP予測式生成部10には、動画像の符号化前データIと、式(2)に示す画素数pjと、フレームレートfjと、ビットレートBjと、が入力される。
フレームレート{fj|0<j≦M}
ビットレート{Bj|0<j≦M} …(2)
(ステップS204)1画素あたりの平均符号量bjは、式(3)で表される。
(ステップS205)QP予測部14には、QP予測式Q(b)が、QP予測式生成部10から入力される。QP予測部14には、ビットレートBと、候補の画素数pと、フレームレートfとが、評価要求プロセスの外部装置(不図示)から入力される。QP予測部14は、ビットレートBと、候補画素数pと、フレームレートfとに基づいて、1画素あたりの平均符号量bを算出する。
(ステップS230)QP予測部14には、候補の画素数pと、候補のフレームレートfと、ターゲットと定められたビットレートBとが、入力される。
(ステップS231)QP予測部14は、候補の画素数pと、候補のフレームレートfと、ターゲットと定められたビットレートBとに基づいて、1画素あたりの平均符号量bを算出する。
(ステップS233)QP予測部14は、算出した予測QPを、主観画質推定部18に出力する。
[画像特徴量を算出する処理]
(ステップS207)画像特徴量算出部20は、変数jがMと等しいか否かを判定する。つまり、画像特徴量算出部20は、変数jがMより大きくなったか否かを判定する。変数jがMと等しい場合(ステップS207:Yes)、画像特徴量算出部20は、変数jをインクリメントして、ステップS208に処理を進める。一方、変数jがMと等しい場合(ステップS207:No)、画像特徴量算出部20は、変数jをインクリメントして、ステップS209に処理を進める。
(i)画像特徴量vを算出するためのパラメータとなる情報が、動画像の符号化前データである場合
画像特徴量算出部20は、動画像の符号化前データに基づいて、画像特徴量として、エッジ特徴量、動き特徴量等を算出してもよい。ここで、画像特徴量は、上記の非特許文献3に記載されている「Spatial Information、Temporal Information」でもよい。また、画像特徴量算出部20は、動画像が候補の画素数及びフレームレートとなるよう、動画像の符号化前データにサンプリング処理を施してから、サンプリング処理が施された動画像の符号化前データに基づいて、画像特徴量を算出してもよい。例えば、画像特徴量算出部20は、各候補の画素数及びフレームレートの動き補償誤差、コントラスト感度関数の重み付き絶対値和等を、画像特徴量として算出してもよい。
(ii)画像特徴量vを算出するためのパラメータとなる情報が、動画像の符号化後データである場合
画像特徴量算出部20は、エンコーダ11がM回だけ動画像を符号化したうちで得た動画像の符号化後データに基づいて、画像特徴量を算出してもよい。画像特徴量算出部20は、動画像の符号化前データ又は符号化後データを解析するパーサーを有する。画像特徴量算出部20は、動画像の符号化後データを復号するデコーダを有していてもよい。
(iii)画像特徴量vを算出するためのパラメータとなる情報が、QP予測式Q(b)である場合
[主観画質推定式S(q,p,f,v)に基づいて主観画質を推定する処理]
(ステップS208)主観画質推定部18は、予測QPqと、画素数pと、フレームレートfと、画像特徴量vとを、主観画質推定式S(q、p、f、v)に、パラメータとして代入することにより、主観画質推定値sを算出する。主観画質推定部18は、ステップS205に処理を戻す。
(ステップS250)主観画質推定部18には、予測QPqが、QP予測部14から入力される。また、主観画質推定部18には、画素数pと、フレームレートfとが、外部装置(不図示)から入力される。また、主観画質推定部18には、画像特徴量vが、画像特徴量算出部20から入力される。
QP予測式生成部10のQP予測式算出部13が、QP予測式を算出する処理の詳細について説明する。
エンコーダ11は、動画像を符号化する際、その動画像の量子化パラメータとして、量子化パラメータの平均値(平均QP)を算出する。
H.264及びHEVCなどの動画圧縮規格では、エンコーダ11は、所定のビットレートで動画像を符号化するために、量子化パラメータの値を調整する。量子化パラメータの値を定める方法として、例えば、以下に示す第1の方法と、第2の方法とがある。
図11には、可変ビットレートで符号化された動画像の符号化後データに基づいて画像特徴量を定める主観画質推定装置の構成例が、ブロック図により示されている。図11では、主観画質推定装置は、量子化パラメータの値を定める第2の方法を実行する。図11では、動画像は、固定ビットレートでなく、可変ビットレートで符号化されているものとする。
[QP予測式生成部10のQP予測式算出部13が、QP予測式Q(b)を生成する処理]
QP予測式算出部13は、1画素あたりの平均符号量b1,b2,…,bMと、量子化パラメータq1,q2,…,qMと、に基づいて、QP予測式Q(b)を生成し、生成したQP予測式Q(b)を、QP予測部14に出力する。
(ステップS260)エンコーダ11は、二つのビットレートB1及びB2について、動画像の符号化を実行する。エンコーダ11は、量子化パラメータq1及びq2を、動画像の符号化前データから取り出す。エンコーダ11は、1画素あたりの平均符号量b1及びb2と、量子化パラメータq1及びq2とを、パラメータ記憶部12に格納する。QP予測式算出部13には、1画素あたりの平均符号量b1及びb2と、量子化パラメータq1及びq2とが、パラメータ記憶部12から入力される。
(ステップS262)QP予測式算出部13は、生成したQP予測式Q(b)を、QP予測式生成部14に出力する。
主観画質推定部18は、量子化パラメータqと、画像特徴量vと、に基づいて、主観画質推定値を算出してもよい。主観画質推定部18が画像特徴量vに基づいて主観画質推定値を算出する理由は、量子化パラメータqとMOSとは、画素数毎及びフレームレート毎にある程度の相関があるものの、この相関は、動画像の画像特徴量vに応じて変化するからである。
図14には、「960×540」,30[fps] のQP−MOSグラフが、動画像毎に示されている。図14の横軸は、量子化パラメータ(QP)を示す。また、図14の縦軸は、平均オピニオン評点(MOS)を示す。
図15には、「960×540」,15[fps] のQP−MOSグラフが、動画像毎に示されている。図15の横軸は、量子化パラメータ(QP)を示す。また、図15の縦軸は、平均オピニオン評点(MOS)を示す。
主観画質推定式Sは、式(6)により表される。
h=c2p+d2f+e2v+g2・・・(9)
h=c2log(p)+d2log(f)+e2log(v)+g2 …(13)
h=c3pc4+d3fd4+e3ve4+g2 …(16)
= (c1log(p)+d1log(f)+e1log(v)+g1)q
+(c2log(p)+d2log(f)+e2log(v)+g2) …(17)
シグモイド関数は、式(18)により示される。
h=c2p+d2f+e2v+g2 …(22)
c=c3p+d3f+e3v+g3 …(23)
h=c2log(p)+d2log(f)+e2log(v)+g2 …(25)
c=c3log(p)+d3log(f)+e3log(v)+g3 …(26)
=−1/(exp(c1log(p)+d1log(f)+e1log(v)+g1)
(q−(c2log(p)+d2log(f)+e2log(v)+g2)))
+1/(c3log(p)+d3log(f)+e3log(v)+g3))
+(c3log(p)+d3log(f)+e3log(v)+g3) …(27)
主観画質推定プログラムは、主観画質推定装置が実行する処理を、コンピュータに実行させる。
これにより、主観画質推定装置、及び、主観画質推定プログラムは、所望のビットレート、画素数、及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返すことなく、当該動画像の主観画質を精度よく推定することができる。
Claims (7)
- 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
を備え、
前記主観画質推定部は、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置。 - 前記主観画質推定部は、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする請求項1に記載の主観画質推定装置。
- 前記主観画質推定部は、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする請求項1に記載の主観画質推定装置。
- 前記主観画質推定部は、最大値を補正可能なシグモイド関数において当該最大値を定めるためのパラメータを、前記最大値を補正可能なシグモイド関数の他のパラメータよりも先に推定することにより、前記所定の主観画質推定式を生成することを特徴とする請求項1から請求項3のいずれか一項に記載の主観画質推定装置。
- 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
を備え、
前記主観画質推定部は、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置。 - 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
を備え、
前記主観画質推定部は、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置。 - 請求項1から請求項6のいずれか一項に記載の主観画質推定装置が実行する処理をコンピュータに実行させるための主観画質推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109131A JP5992866B2 (ja) | 2013-05-23 | 2013-05-23 | 主観画質推定装置、及び、主観画質推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109131A JP5992866B2 (ja) | 2013-05-23 | 2013-05-23 | 主観画質推定装置、及び、主観画質推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014230151A JP2014230151A (ja) | 2014-12-08 |
JP5992866B2 true JP5992866B2 (ja) | 2016-09-14 |
Family
ID=52129612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013109131A Expired - Fee Related JP5992866B2 (ja) | 2013-05-23 | 2013-05-23 | 主観画質推定装置、及び、主観画質推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5992866B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10560696B2 (en) * | 2018-06-25 | 2020-02-11 | Tfi Digital Media Limited | Method for initial quantization parameter optimization in video coding |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4817246B2 (ja) * | 2006-07-31 | 2011-11-16 | Kddi株式会社 | 映像品質の客観評価装置 |
JP4802200B2 (ja) * | 2008-02-14 | 2011-10-26 | 日本電信電話株式会社 | 映像品質推定装置、方法、およびプログラム |
JP2009260940A (ja) * | 2008-03-21 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価方法、映像品質客観評価装置、およびプログラム |
JP5523357B2 (ja) * | 2011-01-05 | 2014-06-18 | 日本電信電話株式会社 | 映像品質推定装置及び方法及びプログラム |
-
2013
- 2013-05-23 JP JP2013109131A patent/JP5992866B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014230151A (ja) | 2014-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9143776B2 (en) | No-reference video/image quality measurement with compressed domain features | |
US9781449B2 (en) | Rate distortion optimization in image and video encoding | |
US20160234496A1 (en) | Near visually lossless video recompression | |
US20130195206A1 (en) | Video coding using eye tracking maps | |
Shahid et al. | A no-reference machine learning based video quality predictor | |
Takeuchi et al. | Perceptual quality driven adaptive video coding using JND estimation | |
JP6145069B2 (ja) | 主観画質推定装置及び主観画質推定プログラム | |
Uhl et al. | Comparison study of H. 264/AVC, H. 265/HEVC and VP9-coded video streams for the service IPTV | |
Amirpour et al. | Between two and six? towards correct estimation of jnd step sizes for vmaf-based bitrate laddering | |
US11303916B2 (en) | Motion compensation techniques for video | |
JP5992866B2 (ja) | 主観画質推定装置、及び、主観画質推定プログラム | |
JP5956316B2 (ja) | 主観画質推定装置、主観画質推定方法及びプログラム | |
Sanz-Rodriguez et al. | RBF-based QP estimation model for VBR control in H. 264/SVC | |
Lebreton et al. | Network and content-dependent bitrate ladder estimation for adaptive bitrate video streaming | |
JP2015530807A (ja) | ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置 | |
JP2005124145A (ja) | デジタル映像データの復号化方法 | |
US20190238856A1 (en) | Estimating video quality of experience | |
Deshpande et al. | Performance analysis of various video compression standards | |
JP5756154B2 (ja) | 映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラム | |
KR20040107850A (ko) | 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 | |
De Cock et al. | Constant-slope rate allocation for distributed real-world encoding | |
Topiwala et al. | Deep learning and video quality analysis | |
Pal et al. | G. 1070 model extension at full HD resolution for VP9/HEVC codec | |
Menkovski | Computational inference and control of quality in multimedia services | |
Milivojević et al. | Video coding and constant quality evaluation using 4k aomenc-AV1 and rav1e-AV1 formats |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5992866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |