JP5992866B2 - 主観画質推定装置、及び、主観画質推定プログラム - Google Patents

主観画質推定装置、及び、主観画質推定プログラム Download PDF

Info

Publication number
JP5992866B2
JP5992866B2 JP2013109131A JP2013109131A JP5992866B2 JP 5992866 B2 JP5992866 B2 JP 5992866B2 JP 2013109131 A JP2013109131 A JP 2013109131A JP 2013109131 A JP2013109131 A JP 2013109131A JP 5992866 B2 JP5992866 B2 JP 5992866B2
Authority
JP
Japan
Prior art keywords
subjective
moving image
image quality
quality estimation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013109131A
Other languages
English (en)
Other versions
JP2014230151A (ja
Inventor
基宏 高木
基宏 高木
藤井 寛
寛 藤井
清水 淳
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013109131A priority Critical patent/JP5992866B2/ja
Publication of JP2014230151A publication Critical patent/JP2014230151A/ja
Application granted granted Critical
Publication of JP5992866B2 publication Critical patent/JP5992866B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、動画像の主観画質を推定する主観画質推定装置、及び、主観画質推定プログラムに関する。
3G(3rd Generation)、LTE(Long Term Evolution)といった移動回線や、スマートフォン、タブレットといった携帯端末が普及したことによって、不安定なネットワークの下でも、複数の異なる端末に動画像を配信できることが重要となっている。
端末毎のドット密度(dots per inch:dpi)の違い、及び、ネットワークによる利用可能な帯域の違いに応じて動画像を配信するための配信方式に、HAS(Http Adaptive Streaming)がある。近年では、HASは、MPEG−DASH(Moving Picture Experts Group−Dynamic adaptive streaming over HTTP)として規格化されている(非特許文献1参照)。
MPEG−DASHでは、視聴者のネットワーク状況等に合わせて、ビットレートを動的に切り替えて配信を行う。想定する配信ビットレートで画素数及びフレームレートが変化したときの配信品質を向上させるため、画質は、定量的に評価される必要がある。ここで、画素数とは、動画像のピクチャ(フレーム)における総画素数であり、縦の画素数×横の画素数の値である。具体的には、2000[kbps]で動画像を配信するときに、画素数を2073600(=1920×1080)、又は、921600(=1280×720)のいずれにするのかを決定する画質評価と、フレームレートを30[fps]又は15[fps]のいずれにするのかを決定する画質評価とがある。
従来の画質評価では、ITU−R勧告BT. 500−11、ITU−T勧告P. 910などに規定されている方法を用いて、主観評価実験が行われてきた(非特許文献2及び3参照)。従来の画質評価では、20名程度の被験者に動画像が提示され、それら被験者の主観により、動画像に評点が付けられる。被験者による評点の平均は、平均オピニオン評点(Mean Opinion Score:MOS)と呼ばれ、評価した動画像の品質とされる。
これらの主観評価実験では、評価環境を規定に沿って用意し、被験者が集められなければならない。さらに、これらの主観評価実験では、評価する動画像を被験者に何度も見てもらい、評点をつけてもらわなければならない。そのため、個別の動画像に対して主観評価を行うには、コストがかかるという問題がある。
そこで、動画像の特徴量(画像特徴量。画像特徴ベクトルのときもある)を算出し、その算出した特徴量から動画像の品質を導出する客観画質評価が検討されている。ITU−T J.143(非特許文献4参照)には、客観画質評価法のフレームワークが規定されている。客観画質評価法のフレームワークは、以下の三つに分類される。
(i)Full Reference(FR)型
圧縮前(符号化前)の原画像及び復号画像、または送信画像及び受信画像を用いて評価する方法。
(ii)No Reference(NR)型
復号画像又は受信画像のみを用いて評価する方法。
(iii)Reduced Reference(RR)型
情報量が制限された原画像又は送信画像の画像特徴量、及び、復号画像又は受信画像を用いて評価する方法。
多くの主観画質推定方法は、上記の三つの分類のいずれかに属している(非特許文献5〜7参照)。ここで、FR型の主観画質推定式構築までの動作手順を説明する。
図17は、従来技術による主観画質推定式の構築までの動作手順を示すフローチャートである。
(ステップS20)動画像の符号化前データ(原画像)I(0<i≦N。Nは1以上の整数)、テスト画像Dを用意し、主観評価実験が行われることで、主観画質推定式は、主観評価値sを取得する。
(ステップS21)動画像の符号化前データ(原画像)I、テスト画像Dから特徴f,…,fが取り出され、主観画質推定式S(f,…、f|D、I)は、N個の組み合わせに対して構築される。
(ステップS22)主観評価値sと、S(f,…,f|D,I)との組み合わせにより、S(f,…,f|D,I)のパラメータを最適化し、任意の動画像に対する主観画質推定式S(f,…,f)を得る。
(ステップS23)任意の動画像の符号化前データ(原画像)I及び復号画像Dから取り出した特徴f,…,fと、主観画質推定式S(f,…,f)と、に基づいて、主観画質が推定される。ここで、特徴f、…、fは、画素信号を特徴とした場合も包含するものとする。
なお、RR型では、画素信号は包含されない。また、NR型では、主観画質推定式S(f,…,f|D,I)ではなく、主観画質推定式S(f,…,f|D)に基づいて、パラメータが最適化される。
しかしながら、これらのフレームワークを用いた従来の主観画質推定方法は、特定の表示環境を想定しており、画素数及びフレームレートの変化に対応した手法とはなっていない。画素数及びフレームレートの変化に対応した主観画質推定方法としては、スケーラブル・ビデオ・コーディング(Scalable Video Coding)における主観画質推定方法が挙げられる(非特許文献8及び9参照)。非特許文献8では、式(1)に基づいて、主観画質が推定される。
Figure 0005992866
ここで、SVは、MPEG−7規格に定められた「Spatial Activity」である。また、TVは、MPEG−7規格に定められた「Temporal Activity」である。また、式(1)に示すFRは、フレームレートである。また、xは、動画像の横幅の画素数を示す。式(1)(主観画質推定式)は、PSNRといった従来の客観画質評価値に加え、画素数及びフレームレートの変化の影響を、SV及びTVにより表現している。そのため、この主観画質推定式は、PSNRでは比較ができなかった異なる画素数及びフレームレートについても、主観画質を比較することができる。
複数のビットレートに対して動画像を符号化する状況で、画素数及びフレームレートを動画像毎に主観画質が最大となるように決定したい場合、動画像毎の主観画質は、推定される必要がある。HASによる主観画質推定に対して、従来の客観画質評価法のフレームワークを適用することを考えると、上記の三つのフレームワーク(FR型、RR型、NR型)では、主観画質は、動画像の符号化前には評価されることができず、動画像が何度も符号化されてから評価されることになる。
図18は、従来のフレームワークで主観画質を推定し、画素数及びフレームレートを決定する動作手順を示すフローチャートである。
(ステップS30)HASでは、候補の画素数、フレームレート、又は、ビットレート若しくは量子化パラメータにより、動画像が符号化される。
(ステップS31)得られた符号化データが復号され、主観画質推定値が算出される。
(ステップS32)画素数、フレームレート、及び、ビットレートの全ての候補について、主観画質を推定したか否かが判定される。主観画質が推定されていない画素数、フレームレート、及び、ビットレートの候補が残っている場合(ステップS32:No)、まだ符号化していない画素数、フレームレート、及び、ビットレートの候補について符号化が行われ、ステップS30に処理を戻す。一方、画素数、フレームレート、及び、ビットレートの全ての候補について、主観画質が推定された場合(ステップS32:Yes)、ステップS33に処理が進められる。
(ステップS33)主観画質推定値が最大となる画素数及びフレームレートは、候補の組み合わせから決定されて、出力される。
しかしながら、主観画質推定式を構築して主観画質を推定する上記の方法では、動画像の符号化及び復号が何度も実行されなければならず、計算コストが高くなってしまう。つまり、主観画質推定装置は、所望のビットレート、画素数、及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返さなければ、当該動画像の主観画質を精度よく推定することができない、という問題がある。
本発明は、前記の点に鑑みてなされたものであり、所望のビットレート、画素数、及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返すことなく、当該動画像の主観画質を精度よく推定することができる主観画質推定装置、及び、主観画質推定プログラムを提供することを目的とする。
本発明の一態様は、量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、を備えることを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、最大値を補正可能なシグモイド関数において当該最大値を定めるためのパラメータを、前記最大値を補正可能なシグモイド関数の他のパラメータよりも先に推定することにより、前記所定の主観画質推定式を生成することを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置である。
本発明の一態様は、前記主観画質推定部が、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする主観画質推定装置である。
本発明の一態様は、主観画質推定装置が実行する処理をコンピュータに実行させるための主観画質推定プログラムである。
本発明によれば、画像特徴量算出部は、動画像の符号化前データ、動画像の符号化後データ、及び、動画像の前記符号化の複雑度の少なくとも一つに基づいて、動画像の画像特徴量を算出する。これにより、主観画質推定装置、及び、主観画質推定プログラムは、所望のビットレート、画素数、及びフレームレートとなるよう動画像を符号化する際、符号化する前に、当該動画像の主観画質を精度よく推定することができる。
本発明の一実施形態における、動画像の符号化前データに基づいて画像特徴量を定める主観画質推定装置の構成例を示すブロック図である。 本発明の一実施形態における、主観画質推定値を算出する動作手順を示すフローチャートである。 本発明の一実施形態における、主観画質推定装置の基本動作の手順例を示すフローチャートである。 本発明の一実施形態における、パラメータ記憶部に記憶されるテーブルデータを示す図である。 本発明の一実施形態における、QP予測部の動作手順例を示すフローチャートである。 本発明の一実施形態における、画像特徴量算出部の動作手順例を示すフローチャートである。 本発明の一実施形態における、固定ビットレートで符号化された動画像の符号化後データに基づいて画像特徴量を定める主観画質推定装置の構成例を示すブロック図である。 本発明の一実施形態における、固定ビットレートで符号化された動画像の符号化の複雑度に基づいて画像特徴量を定める主観画質推定装置の構成例を示すブロック図である。 本発明の一実施形態における、動画像の符号化前データ、動画像の符号化後データ、及び、動画像の符号化の複雑度のうち、少なくとも二つの組み合わせに基づいて画像特徴量を定める主観画質推定装置の構成例を示すブロック図である。 本発明の一実施形態における、主観画質推定部の動作手順例を示すフローチャートである。 本発明の一実施形態における、可変ビットレートで符号化された動画像の符号化後データに基づいて画像特徴量を定める主観画質推定装置の構成例を示すブロック図である。 本発明の一実施形態における、QP予測式算出部の動作手順例を示すフローチャートである。 本発明の一実施形態における、「1280×720」,30[fps]のQP−MOSグラフを、動画像毎に示す図である。 本発明の一実施形態における、「960×540」,30[fps] のQP−MOSグラフを、動画像毎に示す図である。 本発明の一実施形態における、「960×540」,15[fps] のQP−MOSグラフを、動画像毎に示す図である。 本発明の一実施形態における、符号化複雑度を動画像毎に表により示す図である。 本発明の一実施形態における、従来技術による主観画質推定式の構築までの動作手順を示すフローチャートである。 本発明の一実施形態における、従来のフレームワークで主観画質を推定し、画素数及びフレームレートを決定する動作手順を示すフローチャートである。
本発明の一実施形態について図面を参照して詳細に説明する。図1には、動画像の符号化前データに基づいて画像特徴量(画像特徴量は、画像特徴ベクトルでもよい)を定める主観画質推定装置の構成例が、ブロック図により示されている。図1では、動画像は、固定ビットレート(Constant BitRate:CBR)で符号化されているものとする。主観画質推定装置は、QP予測式生成部10と、QP予測部14と、画像特徴量算出部20と、主観画質推定部18とを備える。
QP予測式生成部10には、ビットレートBと、画素数pと、フレームレートfと、動画像の符号化前データ(原画像)Iとが、外部装置(不図示)から入力される。QP予測式生成部10は、量子化パラメータ(QP)の予測値を算出するための予測式(以下、「QP予測式」という。)を生成し、生成したQP予測式を、QP予測部14に出力する。QP予測式生成部10は、エンコーダ11と、パラメータ記憶部12と、QP予測式算出部13とを有する。
エンコーダ11には、ビットレートBと、画素数pと、フレームレートfと、動画像の符号化前データ(原画像)Iとが、外部装置(不図示)から入力される。エンコーダ11は、動画像の符号化前データIを符号化する。
エンコーダ11は、動画像の符号化の過程で得られた、1画素あたりの平均符号量と、量子化パラメータ(QP)とを、パラメータ記憶部12に出力する。なお、レートコントロール部111は、動画像の符号化後データから得られた、1画素あたりの平均符号量と、量子化パラメータとを、パラメータ記憶部12に出力してもよい。
エンコーダ11は、レートコントロール部111を有する。レートコントロール部111は、動画像の符号化におけるレートコントロールを実行する。
パラメータ記憶部12は、1画素あたりの平均符号量と、量子化パラメータとを、1レコードとして格納する。
QP予測式算出部13は、パラメータ記憶部12に格納された1画素あたりの平均符号量と、量子化パラメータとに基づいて、QP予測式を生成し、生成したQP予測式をQP予測式生成部14に出力する。
QP予測部14には、QP予測式が、QP予測式算出部13から入力される。また、QP予測部14には、ビットレートBと、画素数pと、フレームレートfとが、外部装置(不図示)から入力される。QP予測部14は、ビットレートBと、画素数pと、フレームレートfと、QP予測式とに基づいて、量子化パラメータ(QP)の予測値(以下、「予測QP」という。)qを算出する。QP予測部14は、予測QPを、主観画質推定部18に出力する。
図1では、画像特徴量算出部20には、動画像の符号化前データ(原画像)Iが、外部装置(不図示)から入力される。画像特徴量算出部20は、動画像の符号化前データに基づいて、動画像の画像特徴量vを算出し、算出した画像特徴量vを、主観画質推定部18に出力する。なお、画像特徴量算出部20の他の態様については、図7、8、9及び11を用いて後述する。
主観画質推定部18には、予測QPが、QP予測部14から入力される。また、主観画質推定部18には、画素数pと、フレームレートfとが、外部装置(不図示)から入力される。また、主観画質推定部18には、画像特徴量vが、画像特徴量算出部20から入力される。
主観画質推定部18は、予測QPqと、画素数pと、フレームレートfと、画像特徴量vとを、主観画質推定式S(q,p,f,v)に、パラメータとして代入することにより、主観画質推定値sを算出する。ここで、主観画質推定式S(q,p,f,v)は、主観評価の実験結果により、予め生成(構築)されているものとする。主観画質推定部18は、主観画質推定値sを、推定結果として出力する。
図2は、主観画質推定値を算出する動作手順を示すフローチャートである。
(ステップS100)エンコーダ11は、任意のM個の候補の画素数pと、フレームレートfと、ビットレートBとにより、動画像を符号化する。
(ステップS101)QP予測式算出部13は、量子化パラメータ(QP)と、1画素(1ピクセル)あたりの平均符号量との関係式(QP予測式)を生成する。
(ステップS102)画像特徴量算出部20は、所定データ(例えば、動画像の符号化前データ)に基づいて、動画像の画像特徴量vを算出する。
(ステップS103)QP予測部14は、ビットレートBと、候補の画素数pと、フレームレートfと、QP予測式とに基づいて、予測QPqを算出する。
(ステップS104)主観画質推定部18は、主観画質推定式S(q,p,f,v)に、予測QPqと、画素数pと、フレームレートfと、画像特徴量vとを、パラメータとして代入することにより、主観画質推定値sを算出する。
(ステップS105)主観画質推定部18は、画素数p、フレームレートf、及び、ビットレートBの組み合わせの全ての候補について、主観画質を推定したか否か、すなわち、主観画質推定値sを算出したか否かを判定する。
主観画質が推定されていない画素数p、フレームレートf、及び、ビットレートBの候補が残っている場合(ステップ105:No)、主観画質推定部18は、ステップS103に処理を戻す。一方、画素数p、フレームレートf、及び、ビットレートBの全ての候補について、主観画質が推定された場合(ステップS105:Yes)、主観画質推定部18は、ステップS106に処理を進める。
(ステップS106)主観画質推定部18は、主観画質推定値sを出力する。
本発明の一実施形態によれば、QP予測式によって予測されたQPを用いて、主観画質を推定するため、主観画質推定装置は、任意の画素数p、フレームレートfの組み合わせについて、QP予測式が生成された後では、動画像を符号化(エンコード)することなく、ターゲットとする所望のビットレートBの動画像の主観画質を推定することができる。
また、主観画質推定装置は、量子化パラメータが予め判っているのであれば、QP予測式生成部10とQP予測部14とによらずに、量子化パラメータに基づいて、動画像の主観画質を推定することができる。
生成された主観画質推定式S(q,p,f,v)は、動画像に依存しない主観画質推定式であるため、主観評価実験に用いた動画像とは異なる動画像に対しても適用できる。よって、主観画質推定装置は、動画像についての主観評価実験を、主観画質を推定する度に行う必要がない。
以上により、主観画質推定装置は、ほとんどのビットレートB、画素数p、及び、フレームレートfについて、QP予測式が生成された後では、主観評価実験、動画像の符号化、動画像の符号化後データからの画像特徴量の抽出を行わずに、主観画質を推定することができる。また、主観画質推定装置は、計算コストを大幅に削減することができる。
次に、主観画質推定装置について、より詳細に説明する。
図3は、主観画質推定装置の基本動作の手順例を示すフローチャートである。主観画質推定装置の基本動作の手順処理は、QP予測式を生成する処理と、量子化パラメータを予測する処理(予測QPを算出する処理)と、画像特徴量を算出する処理と、主観画質推定式S(q,p,f,v)に基づいて主観画質を推定する処理(主観画質推定値を算出する処理)と、に分けることができる。
[QP予測式を生成する処理]
(ステップS200)QP予測式生成部10には、動画像の符号化前データIと、式(2)に示す画素数pと、フレームレートfと、ビットレートBと、が入力される。
画素数{p|0<j≦M}
フレームレート{f|0<j≦M}
ビットレート{B|0<j≦M} …(2)
ここで、QP予測式生成部10は、変数jに値1を代入する。また、Mは、符号化パラメータ(画素数、フレームレート及びビットレート)の組み合わせの候補数である。
(ステップS201)QP予測式生成部10は、変数jがM(M≧2)と等しいか否かを判定する。つまり、QP予測式生成部10は、変数jがM(M≧2)より大きくなったか否かを判定する。変数jがM(M≧2)と等しい場合(ステップS201:Yes)、QP予測式生成部10は、ステップS204に処理を進める。
一方、変数jがM(M≧2)と等しくない場合(ステップS201:No)、動画像の符号化前データIを符号化し、1画素あたりの平均符号量と、量子化パラメータとを算出する。具体的には、エンコーダ11は、画素数pと、フレームレートfと、ビットレートBの組み合わせに基づいて、動画像の符号化前データIを符号化する。QP予測式生成部10は、ステップS203に処理を進める。
(ステップS201)QP予測式生成部10は、j番目の画素数p及びフレームレートfの組み合わせについての「1画素あたりの平均符号量b」と、j番目の画素数p及びフレームレートfの組み合わせについての量子化パラメータqとを、パラメータ記憶部12に格納する。ここで、パラメータ記憶部12は、テーブルデータ(表データ)の形式で、各種情報を格納してもよい。QP予測式生成部10は、変数jをインクリメントして、ステップS201に処理を戻す。
図4には、パラメータ記憶部に記憶されるテーブルデータが示されている。パラメータ記憶部12には、量子化パラメータ(QP)と、1画素あたりの平均符号量[bits/pixel]とが、対応付けて記憶されている。図4では、量子化パラメータ「22」と、1画素あたりの平均符号量「4.5」とが、対応付けられている。量子化パラメータ「27」と、1画素あたりの平均符号量「2.44」とが、対応付けられている。量子化パラメータ「32」と、1画素あたりの平均符号量「1.82」とが、対応付けられている。
図3に戻り、主観画質推定装置の基本動作の手順例の説明を続ける。
(ステップS204)1画素あたりの平均符号量bは、式(3)で表される。
=B/(p) …(3)
QP予測式生成部10は、パラメータ記憶部12に格納した1画素あたりの平均符号量b,b,…,bと、量子化パラメータq,q,…,qとに基づいて、1画素あたりの平均符号量bと量子化パラメータqとの関係式であるQP予測式Q(b)を生成する。
[量子化パラメータを予測する処理(予測QPを算出する処理)]
(ステップS205)QP予測部14には、QP予測式Q(b)が、QP予測式生成部10から入力される。QP予測部14には、ビットレートBと、候補の画素数pと、フレームレートfとが、評価要求プロセスの外部装置(不図示)から入力される。QP予測部14は、ビットレートBと、候補画素数pと、フレームレートfとに基づいて、1画素あたりの平均符号量bを算出する。
(ステップS206)QP予測部14は、QP予測式Q(b)に、1画素あたりの平均符号量bを代入することにより、予測QPを算出し、算出した予測QPを、主観画質推定部18に出力する。QP予測式Q(b)は、傾きαと切片βとを用いて、式(4)により表される。
q=Q(b)=αlog(b)+β …(4)
図5は、QP予測部の動作手順例を示すフローチャートである。
(ステップS230)QP予測部14には、候補の画素数pと、候補のフレームレートfと、ターゲットと定められたビットレートBとが、入力される。
(ステップS231)QP予測部14は、候補の画素数pと、候補のフレームレートfと、ターゲットと定められたビットレートBとに基づいて、1画素あたりの平均符号量bを算出する。
(ステップS232)QP予測部14は、1画素あたりの平均符号量bを、QP予測式Q(b)に代入することにより、予測QPを算出する。
(ステップS233)QP予測部14は、算出した予測QPを、主観画質推定部18に出力する。
図3に戻り、主観画質推定装置の基本動作の手順例の説明を続ける。
[画像特徴量を算出する処理]
(ステップS207)画像特徴量算出部20は、変数jがMと等しいか否かを判定する。つまり、画像特徴量算出部20は、変数jがMより大きくなったか否かを判定する。変数jがMと等しい場合(ステップS207:Yes)、画像特徴量算出部20は、変数jをインクリメントして、ステップS208に処理を進める。一方、変数jがMと等しい場合(ステップS207:No)、画像特徴量算出部20は、変数jをインクリメントして、ステップS209に処理を進める。
(ステップS208)画像特徴量算出部20は、画像特徴量vを算出する。画像特徴量vは、スカラー又はベクトルのどちらでもよい。符号化の計算コストを削減するため、画像特徴量算出部20は、動画像が符号化される前に、画像特徴量vを算出する必要がある。そのため、画像特徴量vを算出するためのパラメータとなる情報は、エンコーダ11がM回だけ動画像を符号化(エンコード)し、QP予測式が生成された後では、動画像を符号化することなく、ターゲットとするビットレートBの主観画質を推定することができる情報である必要がある。
画像特徴量vを算出するためのパラメータとなる情報、すなわち、画像特徴量算出部20に入力される情報の具体例としては、(i)動画像の符号化前データ(原画像)と、(ii)動画像の符号化後データと、(iii)QP予測式Q(b)とを、挙げることができる。
図6は、画像特徴量算出部の動作手順例を示すフローチャートである。
(i)画像特徴量vを算出するためのパラメータとなる情報が、動画像の符号化前データである場合
画像特徴量算出部20は、動画像の符号化前データに基づいて、画像特徴量として、エッジ特徴量、動き特徴量等を算出してもよい。ここで、画像特徴量は、上記の非特許文献3に記載されている「Spatial Information、Temporal Information」でもよい。また、画像特徴量算出部20は、動画像が候補の画素数及びフレームレートとなるよう、動画像の符号化前データにサンプリング処理を施してから、サンプリング処理が施された動画像の符号化前データに基づいて、画像特徴量を算出してもよい。例えば、画像特徴量算出部20は、各候補の画素数及びフレームレートの動き補償誤差、コントラスト感度関数の重み付き絶対値和等を、画像特徴量として算出してもよい。
図7には、固定ビットレートで符号化された動画像の符号化後データに基づいて画像特徴量を定める主観画質推定装置の構成例が、ブロック図により示されている。図7では、動画像は、固定ビットレートで符号化されているものとする。
(ii)画像特徴量vを算出するためのパラメータとなる情報が、動画像の符号化後データである場合
画像特徴量算出部20は、エンコーダ11がM回だけ動画像を符号化したうちで得た動画像の符号化後データに基づいて、画像特徴量を算出してもよい。画像特徴量算出部20は、動画像の符号化前データ又は符号化後データを解析するパーサーを有する。画像特徴量算出部20は、動画像の符号化後データを復号するデコーダを有していてもよい。
算出される画像特徴量は、エンコーダ11が符号化の際に算出した動きベクトルのノルムの全ブロック平均、各ブロックサイズの出現比率、デブロッキングフィルタのストロングフィルタ適用比率、又は、ウィークフィルタ適用比率でもよい。ここで、ストロングフィルタ適用比率は、「主観画質を推定したい画像の符号化データでのストロングフィルタ適用数/デブロッキングフィルタの全適用数」でもよい。また、ウィークフィルタ適用比率は、「主観画質を推定したい画像の符号化データでのウィークフィルタ適用数/デブロッキングフィルタの全適用数」でもよい。また、ブロックサイズは、動画圧縮規格であるHEVC(High Efficiency Video Coding)では、ユニットサイズでもよい。
また、算出される画像特徴量は、エンコーダ11がレートコントロール部111を有している場合、レートコントロールに用いられるアクティビティでもよい。なお、アクティビティは、エンコーダ11の動作に依存してもよい。また、M回の符号化により得られた符号化後データに基づく画像特徴量は、そのM回の符号化で符号化の対象とされなかった画素数及びフレームレートの候補については、画素数、フレームレートの比率に基づいて、画像特徴量が正規化されることにより算出されてもよい。
図8には、固定ビットレートで符号化された動画像の符号化の複雑度に基づいて画像特徴量を定める主観画質推定装置の構成例が、ブロック図により示されている。図8では、動画像は、固定ビットレートで符号化されているものとする。
(iii)画像特徴量vを算出するためのパラメータとなる情報が、QP予測式Q(b)である場合
式(4)に示すように、1画素あたりの平均符号量の対数と、量子化パラメータ(QP)とは、線形関係にある。ここで、式(4)の切片βは、動画像の符号化の複雑度(符号化複雑度)を示す。符号化の複雑度は、例えば、動画像のテクスチャの複雑さと、動きの複雑さと、に応じて定まるパラメータである。例えば、符号化の複雑度は、1画素あたりの平均符号量でもよい。画像特徴量算出部20は、符号化の複雑度に基づいて、画像特徴量を算出してもよい。
また、画像特徴量vを算出するためのパラメータとなる情報は、(i)動画像の符号化前データ、(ii)動画像の符号化後データ、及び、(iii)QP予測式Q(b)のうち、少なくとも二つが組み合わされた情報でもよい。
図9には、動画像の符号化前データ、動画像の符号化後データ、及び、動画像の符号化の複雑度のうち、少なくとも二つの組み合わせに基づいて画像特徴量を定める主観画質推定装置の構成例が、ブロック図により示されている。図9では、動画像は、固定ビットレートで符号化されているものとする。画像特徴量算出部20は、動画像の符号化前データ、動画像の符号化後データ、及び、QP予測式Q(b)のうち、少なくとも二つが組み合わされた情報に基づいて、画像特徴量を算出してもよい。これらの組み合わせの方法は、例えば、重み付きの線形結合が挙げられる。
図3に戻り、主観画質推定装置の基本動作の手順例の説明を続ける。
[主観画質推定式S(q,p,f,v)に基づいて主観画質を推定する処理]
(ステップS208)主観画質推定部18は、予測QPqと、画素数pと、フレームレートfと、画像特徴量vとを、主観画質推定式S(q、p、f、v)に、パラメータとして代入することにより、主観画質推定値sを算出する。主観画質推定部18は、ステップS205に処理を戻す。
評価要求プロセスの外部装置(不図示)は、主観画質を推定したい動画像の画素数、フレームレート及びビットレートの組み合わせ全てについて、主観画質推定値sを受信した場合、主観画質の推定処理を終了する。
図10は、主観画質推定部の動作手順例を示すフローチャートである。
(ステップS250)主観画質推定部18には、予測QPqが、QP予測部14から入力される。また、主観画質推定部18には、画素数pと、フレームレートfとが、外部装置(不図示)から入力される。また、主観画質推定部18には、画像特徴量vが、画像特徴量算出部20から入力される。
(ステップS251)主観画質推定部18は、予測QPqと、画素数pと、フレームレートfと、画像特徴量vとを、主観画質推定式S(q、p、f、v)に、パラメータとして代入することにより、主観画質推定値sを算出し、評価要求プロセスの外部装置(不図示)に出力する。
次に、主観画質推定装置の各部の詳細を説明する。
QP予測式生成部10のQP予測式算出部13が、QP予測式を算出する処理の詳細について説明する。
[QP予測式生成部10のQP予測式算出部13が、エンコーダ11から量子化パラメータ(QP)を取得する処理]
エンコーダ11は、動画像を符号化する際、その動画像の量子化パラメータとして、量子化パラメータの平均値(平均QP)を算出する。
まず、固定ビットレート(CBR)で符号化する場合について説明する。
H.264及びHEVCなどの動画圧縮規格では、エンコーダ11は、所定のビットレートで動画像を符号化するために、量子化パラメータの値を調整する。量子化パラメータの値を定める方法として、例えば、以下に示す第1の方法と、第2の方法とがある。
第1の方法は、エンコーダ11のレートコントロール部111のレートコントロールによる方法である。レートコントロール部111は、レートコントロール機能により、量子化パラメータの値を定め、定めた量子化パラメータの値を、パラメータ記憶部12に格納する。この第1の方法により、レートコントロール部111は、動画像を復号する前に、量子化パラメータの値を定めることができる。
レートコントロール部111は、マクロブロック毎の量子化パラメータを定める。レートコントロール部111は、マクロブロック数をカウントし、マクロブロック毎の量子化パラメータの総和を保持しておくことにより、全てのマクロブロックについて、量子化パラメータの平均値(平均QP)を算出する。なお、マクロブロックは、HEVCでは、コーディングユニットでもよい。
また、レートコントロール部111は、マクロブロックのカウントと、量子化パラメータの総和とを、ピクチャタイプ毎に実行することにより、ピクチャタイプに応じて加重平均した量子化パラメータの平均値を算出してもよい。
第2の方法は、エンコーダ11から出力された符号化後データに基づいて、符号化後データを解析するパーサー、又は、符号化後データを復号するデコーダが、量子化パラメータの値を定める方法である。例えば、H.264では、所定のピクチャの量子化パラメータの初期値は、符号化後データに、ピクチャ・パラメータ・セットとして含まれている。この第2の方法では、エンコーダ11が無くても、符号化後データさえあれば、量子化パラメータを定めることができる。各フレームには、量子化パラメータの初期値がピクチャ・パラメータ・セットとして含まれているので、パーサー(デコーダ)は、符号化後データに基づいて各フレームの量子化パラメータの初期値を取り出す際に、全てのフレームの量子化パラメータの平均値を定めることができる。
次に、可変ビットレートで符号化する場合について説明する。
図11には、可変ビットレートで符号化された動画像の符号化後データに基づいて画像特徴量を定める主観画質推定装置の構成例が、ブロック図により示されている。図11では、主観画質推定装置は、量子化パラメータの値を定める第2の方法を実行する。図11では、動画像は、固定ビットレートでなく、可変ビットレートで符号化されているものとする。
QP予測式生成部10は、エンコーダ11の代わりに、パーサー19を有する。パーサー19は、符号化後データに基づいて各フレームの量子化パラメータの初期値を取り出す際に、全てのフレームの量子化パラメータの平均値を定める。
なお、QP予測式生成部10は、符号化後データを復号するデコーダを、パーサー19の代わりに有していてもよい。QP予測式生成部10がパーサー19を有している場合、パーサー19が量子化パラメータを取り出すことにより、デコーダによる復号の一部過程を省略することができるので、QP予測式生成部10は、デコーダが量子化パラメータを取り出す場合と比較して、より高速に量子化パラメータを取り出すことができる。
図1に戻り、主観画質推定装置の各部の詳細の説明を続ける。
[QP予測式生成部10のQP予測式算出部13が、QP予測式Q(b)を生成する処理]
QP予測式算出部13は、1画素あたりの平均符号量b,b,…,bと、量子化パラメータq,q,…,qと、に基づいて、QP予測式Q(b)を生成し、生成したQP予測式Q(b)を、QP予測部14に出力する。
動画像の1画素あたりの平均符号量bと、量子化パラメータqとの関係は、式(4)により近似することができる。QP予測式算出部13は、式(4)に示すα及びβを算出することにより、量子化パラメータが未知であるビットレートについても、1画素あたりの平均符号量bと、QP予測式Q(b)と、に基づいて量子化パラメータqを予測し、予測QPを算出することができる。1画素あたりの平均符号量bは、式(5)により示される。
b=B/(pf) …(5)
ここで、pは、1ピクチャあたりの画素数を示す。fは、フレームレートを示す。Bは、ビットレートを示す。
図12は、QP予測式算出部の動作手順例を示すフローチャートである(符号化パラメータの組み合わせの候補数M=2)。
(ステップS260)エンコーダ11は、二つのビットレートB及びBについて、動画像の符号化を実行する。エンコーダ11は、量子化パラメータq及びqを、動画像の符号化前データから取り出す。エンコーダ11は、1画素あたりの平均符号量b及びbと、量子化パラメータq及びqとを、パラメータ記憶部12に格納する。QP予測式算出部13には、1画素あたりの平均符号量b及びbと、量子化パラメータq及びqとが、パラメータ記憶部12から入力される。
(ステップS261)QP予測式算出部13は、ビットレートB及びBのそれぞれについて、1画素あたりの平均符号量b及びbを算出し、1画素あたりの平均符号量b及びbと、量子化パラメータq及びqとを、式(4)にパラメータとして代入することにより、傾きαと、切片βとを算出する。
(ステップS262)QP予測式算出部13は、生成したQP予測式Q(b)を、QP予測式生成部14に出力する。
なお、符号化パラメータの組み合わせの候補数Mが3以上の場合、QP予測式算出部13は、式(4)に示す傾きα及び切片βを、最小二乗法により算出してもよい。ここで、候補数Mが多いほど、最小二乗法による近似精度は高くなる。また、少ない候補数で精度を高める場合、QP予測式算出部13は、式(4)により定まるグラフ上で可能な限り距離の離れた2点に基づいて、式(4)に示す傾きα及び切片βを算出してもよい。
QP予測式算出部13は、1画素あたりの平均符号量bと、量子化パラメータqとの関係を、QP予測式Q(b)以外に基づいて定めてもよい。例えば、動画像が固定ビットレートで符号化されている場合、QP予測式算出部13は、エンコーダ11のレートコントロール部111が実行する既知のレートコントロール・アルゴリズムに基づいて、1画素あたりの平均符号量bと、量子化パラメータqとの関係式を定めてもよい。
QP予測式算出部13は、その定めた関係式を所望のビットレートに適用することにより、1画素あたりの平均符号量bに基づいて、量子化パラメータqを算出することができる。この場合、エンコーダ11は、動画像の特定のシーンに関係式を適用することを想定し、処理の高速化のために、その関係式を予め保持していてもよい。
QP予測式算出部13は、動画像のGOP(Group Of Picture)毎の量子化パラメータと、そのGOPに割り当てられたビットレートと、に基づいて、QP予測式Q(b)を定めてもよい。
具体的には、QP予測式算出部13は、GOP内の全てのフレームの1画素あたりの平均符号量bと、量子化パラメータqの平均値とを、GOP毎に算出する。ここで、QP予測式算出部13は、フレーム毎の量子化パラメータqの初期値の平均値を算出してもよい。また、QP予測式算出部13は、全てのマクロブロックの1画素あたりの平均符号量bを算出してもよい。HEVCでは、QP予測式算出部13は、全てのコーディングユニットの1画素あたりの平均符号量bを算出してもよい。
なお、動画像が固定ビットレート(CBR)で符号化されている場合、QP予測式算出部13は、1画素あたりの平均符号量bを算出する代わりに、ターゲットとする所望のビットレートに基づいて、1画素あたりの平均符号量bを算出してもよい。
QP予測式算出部13は、GOP毎に算出した、GOP内の全てのフレームの1画素あたりの平均符号量bと、量子化パラメータqの平均値と、に基づいて、QP予測式Q(b)を算出する。ここで、QP予測式算出部13は、QP予測式Q(b)を高速に算出したい場合、GOP内からサンプリングしたフレームの1画素あたりの平均符号量bと、量子化パラメータqの平均値と、に基づいて、QP予測式Q(b)を算出してもよい。また、QP予測式算出部13は、複数のフレームについて、1画素あたりの平均符号量bと、量子化パラメータqの平均値とを算出し、算出した1画素あたりの平均符号量bと、量子化パラメータqの平均値とに基づいて、QP予測式Q(b)の傾きα及び切片βのそれぞれの平均を算出してもよい。
[主観画質推定部18が、主観画質推定値を算出する処理]
主観画質推定部18は、量子化パラメータqと、画像特徴量vと、に基づいて、主観画質推定値を算出してもよい。主観画質推定部18が画像特徴量vに基づいて主観画質推定値を算出する理由は、量子化パラメータqとMOSとは、画素数毎及びフレームレート毎にある程度の相関があるものの、この相関は、動画像の画像特徴量vに応じて変化するからである。
図13には、「1280×720」,30[fps]のQP−MOSグラフが、動画像毎に示されている。図13の横軸は、量子化パラメータ(QP)を示す。また、図13の縦軸は、平均オピニオン評点(MOS)を示す。
図14には、「960×540」,30[fps] のQP−MOSグラフが、動画像毎に示されている。図14の横軸は、量子化パラメータ(QP)を示す。また、図14の縦軸は、平均オピニオン評点(MOS)を示す。
図15には、「960×540」,15[fps] のQP−MOSグラフが、動画像毎に示されている。図15の横軸は、量子化パラメータ(QP)を示す。また、図15の縦軸は、平均オピニオン評点(MOS)を示す。
動画像の主観画質としての鮮明感及び躍動感が強い動画像ほど、図13〜図15に示すそれぞれのQP−MOSグラフの右上に、線が描かれている。例えば、動画像「お花畑」、動画像「バンド」は、テクスチャが複雑であるため、鮮明感を強く感じる主観画質となっている。また、動画像「川」は、川の流れが急であり、動きが強く、躍動感を強く感じる主観画質となっている。主観画質推定部18は、このような動画像の違いを表現することができる画像特徴量vに基づいて、主観画質推定値を算出する必要がある。
鮮明感は、動画像のテクスチャと関連している。そこで、動画像のテクスチャが複雑であるほど視聴者が鮮明感を感じる、と仮定する。一方、躍動感は、動画像の動きと関連している。そこで、動画像の動きが激しいほど視聴者が躍動感を感じる、と仮定する。
図16には、符号化複雑度が、動画像毎に表により示されている。図16では、動画像「サッカー」と、符号化複雑度β「−16.32」とが、対応付けられている。動画像「子供」と、符号化複雑度β「−29.333」とが、対応付けられている。動画像「川」と、符号化複雑度β「−11.491」とが、対応付けられている。動画像「お花畑」と、符号化複雑度β「−5.3061」とが、対応付けられている。動画像「テロップ」と、符号化複雑度β「−29.245」とが、対応付けられている。動画像「バンド」と、符号化複雑度β「−29.478」とが、対応付けられている。動画像「競馬」と、符号化複雑度β「−33.765」とが、対応付けられている。
動画像のテクスチャの複雑さ、及び、動画像の動きの激しさのような画像特徴は、動画像の符号化の複雑度(符号化複雑度)に比例する。動画像「お花畑」、及び、動画像「川」は、符号化複雑度βが、相対的に高い。符号化の複雑度が高い動画像とは、量子化パラメータに基づいて動画像が符号化される際に発生する「1画素あたりの平均符号量」が多い動画像である。つまり、式(4)に示す切片βが高いほど、動画像が複雑である。
動画像の主観画質としての鮮明感及び躍動感が弱い動画像ほど、図13〜図15に示すそれぞれのQP−MOSグラフの左下に、線が描かれている。例えば、動画像「子供」、動画像「テロップ」は、符号化が簡単な動画像、すなわち、符号化の複雑度が低い動画像である。
つまり、主観画質推定部18は、符号化の複雑度、動画像の鮮明感、及び、動画像の躍動感のうち少なくとも一つに基づく画像特徴量に基づいて、高精度な主観画質推定値を算出することができる。画像特徴量20は、動画像の鮮明感としてのエッジ特徴量を、画像特徴量として算出してもよい。また、画像特徴量20は、動画像の躍動感としての動き特徴量を、画像特徴量として算出してもよい。
図13〜図15にそれぞれ示されたQP−MOSグラフでは、動画像毎のグラフの相対的な位置関係が変化していない。そこで、画像特徴量vは、画素数及びフレームレートに応じて変化しない、と仮定することができる。主観画質推定部18が画像特徴量vに基づいて主観画質推定値を算出するための主観画質推定式(関数)は、線形関数、最大値を補正可能なシグモイド関数(最大値補正型シグモイド関数)のいずれでもよい。
[主観画質推定式が、線形関数である場合]
主観画質推定式Sは、式(6)により表される。
S(q)=aq+h …(6)
ここで、傾きaは、画素数pと、フレームレートfと、画像特徴量vとにより定まるパラメータである。また、切片hは、画素数pと、フレームレートfと、画像特徴量vとにより定まるパラメータである。また、qは、量子化パラメータ、又は、予測QPである。なお、量子化パラメータの最大値は、予め定められていてもよい。例えば、動画圧縮規格H.264では、量子化パラメータの最大値は51である。
エンコーダ11が出力した量子化パラメータqの最大値を、以下では、「qmax」と表記する。主観画質推定式Sは、式(7)により表されてもよい。
S(q)=aq’+h …(7)
ここで、q’は、量子化パラメータqの最大値から、量子化パラメータqの値を減算した値、すなわち、「q’=qmax−q」である。傾きaは、一例として、式(8)により表される。また、切片hは、一例として、式(9)により表される。
a=cp+df+ev+g・・・(8)
h=cp+df+ev+g・・・(9)
ここで、画像特徴量vが符号化複雑度βである(v=β)場合、画像特徴量vと、符号化複雑度βとは、いずれもスカラーである。
一方、画像特徴量vが動画像の符号化前データに基づくエッジ特徴量s及び動き特徴量mである場合、画像特徴量vは、式(10)により表される。
v=(s,m) …(10)
ここで、画像特徴量vは、ベクトルである。この場合、パラメータe及びパラメータeは、それぞれベクトルとなる。例えば、パラメータeは、式(11)により表される。
v=e11s+e12m …(11)
ここで、エッジ特徴量s、及び、動き特徴量mは、例えば、上記の非特許文献3に記載されている「Spatial Information、Temporal Information」でもよい。
また、傾きaは、一例として、式(12)により表されてもよい。また、切片hは、一例として、式(13)により表されてもよい。
a=clog(p)+dlog(f)+elog(v)+g …(12)
h=clog(p)+dlog(f)+elog(v)+g …(13)
ここで、対数値をとる際は、v>0である。符号化複雑度βを用いるには、絶対値をとるといった処理が施される。
式(12)、及び、式(13)において、画像特徴量vがベクトルである場合、elog(v)は、式(14)により表される。
log(v)=e11log(s)+e12log(m) …(14)
傾きaを示す式の項、及び、切片hを示す式の項が、それぞれ対数値(log)でない場合、傾きaは、一例として、式(15)により表されてもよい。また、切片hは、一例として、式(16)により表されてもよい。
a=cc2+dd2+ee2+g …(15)
h=cc4+dd4+ee4+g …(16)
したがって、主観画質推定式S(q,p,f,v)は、一例として、式(17)により表される。
S(q,p,f,v)
= (clog(p)+dlog(f)+elog(v)+g)q
+(clog(p)+dlog(f)+elog(v)+g) …(17)
パラメータc、d、e、g、c、d、e、及び、gは、主観評価実験で得たMOSとの誤差が最小になるように最適化される。これらのパラメータは、例えば、ガウス‐ニュートン法などの最適化アルゴリズムに基づいて最適化される。また、例えば、主観画質推定式が線形関数である場合、これらのパラメータは、線形最適化により最適化されてもよい。
[主観画質推定式が、最大値を補正可能なシグモイド関数である場合]
シグモイド関数は、式(18)により示される。
1/(1+exp(ax)) …(18)
式(18)に示されたシグモイド関数の最大値は、1である。量子化パラメータは、画素数及びフレームレートが変化すること自体による画質変化を表していない。このため、式(18)に示すxに量子化パラメータ(QP)が代入された場合、式(18)に示すシグモイド関数の最大値が固定値であるため、低画素数、又は、低フレームレートでのフィッティング処理は、うまくいかない。
さらに、式(18)に示されたシグモイド関数の変曲点も、画素数及びフレームレートに応じて変化する。そこで、最大値を補正可能なシグモイド関数を考える。最大値を補正可能なシグモイド関数(最大値補正型シグモイド関数)は、式(19)により表される。
S(q)=−1/(exp(a(q−h))+1/c)+c …(19)
ここで、qは、予測QPである。なお、量子化パラメータの最大値は、予め定められていてもよい。例えば、動画圧縮規格H.264では、量子化パラメータの最大値は51である。主観画質推定式Sは、式(20)により表されてもよい。
S(q)=1/(exp(a(q’−h))+1/c) …(20)
ここで、予測QPqが量子化パラメータの最大値を超えた場合、予測QPqは、クリッピングされて、その最大値(例えば、値51)と定められる。
式(20)に示されたパラメータaは、一例として、式(21)に示されるように、画素数pと、フレームレートfと、画像特徴量vとの線形結合により定まるパラメータである。また、式(20)に示されたパラメータhは、一例として、式(22)に示されるように、画素数pと、フレームレートfと、画像特徴量vとの線形結合により定まるパラメータである。また、式(20)に示されたパラメータcは、一例として、式(23)に示されるように、画素数pと、フレームレートfと、画像特徴量vとの線形結合により定まるパラメータである。
a=cp+df+ev+g …(21)
h=cp+df+ev+g …(22)
c=cp+df+ev+g …(23)
また、式(20)に示されたパラメータaは、一例として、式(24)に示されるように、画素数pの対数値と、フレームレートfの対数値と、画像特徴量vの対数値との線形結合により定まるパラメータでもよい。また、式(20)に示されたパラメータhは、一例として、式(25)に示されるように、画素数pの対数値と、フレームレートfの対数値と、画像特徴量vの対数値との線形結合により定まるパラメータでもよい。また、式(20)に示されたパラメータcは、一例として、式(26)に示されるように、画素数pの対数値と、フレームレートfの対数値と、画像特徴量vの対数値との線形結合により定まるパラメータでもよい。
a=clog(p)+dlog(f)+elog(v)+g …(24)
h=clog(p)+dlog(f)+elog(v)+g …(25)
c=clog(p)+dlog(f)+elog(v)+g …(26)
主観画質推定式S(q、p、f、v)は、一例として、式(27)により表される。
S(q,p,f,v)
=−1/(exp(clog(p)+dlog(f)+elog(v)+g
(q−(clog(p)+dlog(f)+elog(v)+g)))
+1/(clog(p)+dlog(f)+elog(v)+g))
+(clog(p)+dlog(f)+elog(v)+g) …(27)
パラメータc、d、e、g、c、d、e、g、c、d、e、及び、gは、主観評価実験で得たMOSとの誤差が最小になるように最適化される。これらのパラメータは、例えば、ガウス‐ニュートン法などの最適化アルゴリズムに基づいて最適化される。また、例えば、主観画質推定式が線形関数である場合、これらのパラメータは、線形最適化により最適化されてもよい。また、例えば、主観画質推定式が非線形関数である場合、これらのパラメータは、非線形最適化により最適化されてもよい。
主観画質推定式Sに示すパラメータa、h及びcのうち、主観画質推定式Sの最大値を定めるためのパラメータcは、他のパラメータa及びhよりも、先に推定されてもよい。これにより、主観画質推定式Sに基づいて算出される主観画質推定値の精度は、向上する場合がある。
主観画質推定式Sに示すパラメータcは、次のように先に推定されてもよい。画素数及びフレームレートに応じたパラメータcは、主観画質推定式S(例えば、式(18)又は式(19)を参照)の最大値を表す。つまり、この最大値は、画素数及びフレームレート毎に定まる、動画像の符号化前データの平均オピニオン評点(MOS)の最大値となる。
よって、動画像の符号化前データが主観画質評価の対象である場合、式(23)又は式(26)に示されたパラメータcは、動画像の符号化前データから抽出された画像特徴量に基づいて、平均オピニオン評点の最大値との誤差が最小になるように、最適化アルゴリズムにより算出される。
なお、画素数及びフレームレート毎の動画像の符号化前データの平均オピニオン評点(MOS)が、主観評価実験により取得されていない場合、画素数及びフレームレート毎の最高ビットレートの動画像の平均オピニオン評点は、最大値の代替として採用されてもよい。
また、主観画質推定式Sに示すパラメータcは、式(28)に基づいて、先に推定されてもよい。
c=clog(pf−dv)+e …(28)
以上のように、主観画質推定装置は、量子化パラメータ(QP)の予測値を算出するための予測式(QP予測式)を生成するQP予測式生成部10と、動画像の1画素あたりの平均符号量bと、予測式と、に基づいて、量子化パラメータの予測値(予測QP)を算出するQP予測部14と、動画像の符号化前データ、動画像の符号化後データ、及び、動画像の符号化の複雑度βの少なくとも一つに基づいて、動画像の画像特徴量sを算出する画像特徴量算出部20と、量子化パラメータの予測値と、動画像の画像特徴量sと、所定の主観画質推定式と、に基づいて、動画像の主観画質の推定値を算出する主観画質推定部18と、を備える。
主観画質推定プログラムは、主観画質推定装置が実行する処理を、コンピュータに実行させる。
この構成により、画像特徴量算出部20は、動画像の符号化前データ、動画像の符号化後データ、又は、動画像の符号化の複雑度に基づいて、動画像の画像特徴量sを算出する。
これにより、主観画質推定装置、及び、主観画質推定プログラムは、所望のビットレート、画素数、及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返すことなく、当該動画像の主観画質を精度よく推定することができる。
つまり、主観画質推定装置、及び、主観画質推定プログラムは、動画像(映像)をあるビットレートに符号化する際に、画像の特徴(画像特徴量)を考慮して、所望する画素数、フレームレートでの主観画質を推定することが可能となる。ここで、主観画質推定装置、及び、主観画質推定プログラムは、QP予測式が生成された後では、符号化前に主観画質を推定することができる。
主観画質推定部18は、量子化パラメータの値、又は、量子化パラメータの最大値から量子化パラメータの値を減算した結果を、最大値を補正可能なシグモイド関数に基づく主観画質推定式に、パラメータとして代入することにより、動画像の主観画質の推定値を算出してもよい。
主観画質推定部18は、動画像の画素数(ピクセル数)と、動画像のフレームレートと、動画像の画像特徴量と、を線形結合した値を、最大値を補正可能なシグモイド関数(最大値補正型シグモイド関数)に基づく主観画質推定式に、パラメータとして代入することにより、動画像の主観画質の推定値を算出してもよい。
主観画質推定部18は、動画像の画素数の対数値と、動画像のフレームレートの対数値と、動画像の画像特徴量の対数値と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく主観画質推定式に、パラメータとして代入することにより、動画像の主観画質の推定値を算出してもよい。
主観画質推定部18は、最大値を補正可能なシグモイド関数において当該最大値を定めるためのパラメータ(例えば、式(27)に示すパラメータc)を、最大値を補正可能なシグモイド関数(最大値補正型シグモイド関数)の他のパラメータ(例えば、式(27)に示すパラメータa及びh)よりも先に推定することにより、所定の主観画質推定式を生成してもよい。
主観画質推定部18は、動画像の画素数と、動画像のフレームレートと、動画像の画像特徴量と、を線形結合した値を傾き及び切片とする主観画質推定式を保持し、量子化パラメータの値、又は、量子化パラメータの最大値から量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、動画像の主観画質の推定値を算出してもよい。
主観画質推定部18は、動画像の画素数の対数値と、動画像のフレームレートの対数値と、動画像の画像特徴量の対数値と、を線形結合した値を傾き及び切片とする主観画質推定式を保持し、量子化パラメータの値、又は、量子化パラメータの最大値から量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、動画像の主観画質の推定値を算出してもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、以上に説明した主観画質推定装置を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
10…QP予測式生成部、11…エンコーダ、12…パラメータ記憶部、13…QP予測式算出部、14…QP予測部、15…主観画質推定式管理部、16…主観画質推定式DB、17…主観画質推定式生成部、18…主観画質推定部、19…パーサー、20…画像特徴量算出部、111…レートコントロール部

Claims (7)

  1. 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
    動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
    前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
    前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
    を備え、
    前記主観画質推定部は、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする観画質推定装置。
  2. 前記主観画質推定部は、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする請求項に記載の主観画質推定装置。
  3. 前記主観画質推定部は、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を、最大値を補正可能なシグモイド関数に基づく前記主観画質推定式に、パラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする請求項に記載の主観画質推定装置。
  4. 前記主観画質推定部は、最大値を補正可能なシグモイド関数において当該最大値を定めるためのパラメータを、前記最大値を補正可能なシグモイド関数の他のパラメータよりも先に推定することにより、前記所定の主観画質推定式を生成することを特徴とする請求項から請求項のいずれか一項に記載の主観画質推定装置。
  5. 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
    動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
    前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
    前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
    を備え、
    前記主観画質推定部は、前記動画像の画素数と、前記動画像のフレームレートと、前記動画像の画像特徴量と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする観画質推定装置。
  6. 量子化パラメータの予測値を算出するための予測式を生成するQP予測式生成部と、
    動画像の1画素あたりの平均符号量と、前記予測式と、に基づいて、前記量子化パラメータの予測値を算出するQP予測部と、
    前記動画像の符号化前データ、前記動画像の符号化後データ、及び、前記動画像の前記符号化の複雑度の少なくとも一つに基づいて、前記動画像の画像特徴量を算出する画像特徴量算出部と、
    前記量子化パラメータの予測値と、前記動画像の画像特徴量と、所定の主観画質推定式と、に基づいて、前記動画像の主観画質の推定値を算出する主観画質推定部と、
    を備え、
    前記主観画質推定部は、前記動画像の画素数の対数値と、前記動画像のフレームレートの対数値と、前記動画像の画像特徴量の対数値と、を線形結合した値を傾き及び切片とする前記主観画質推定式を保持し、前記量子化パラメータの値、又は、前記量子化パラメータの最大値から前記量子化パラメータの値を減算した結果を、当該主観画質推定式にパラメータとして代入することにより、前記動画像の主観画質の推定値を算出することを特徴とする観画質推定装置。
  7. 請求項1から請求項のいずれか一項に記載の主観画質推定装置が実行する処理をコンピュータに実行させるための主観画質推定プログラム。
JP2013109131A 2013-05-23 2013-05-23 主観画質推定装置、及び、主観画質推定プログラム Expired - Fee Related JP5992866B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013109131A JP5992866B2 (ja) 2013-05-23 2013-05-23 主観画質推定装置、及び、主観画質推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013109131A JP5992866B2 (ja) 2013-05-23 2013-05-23 主観画質推定装置、及び、主観画質推定プログラム

Publications (2)

Publication Number Publication Date
JP2014230151A JP2014230151A (ja) 2014-12-08
JP5992866B2 true JP5992866B2 (ja) 2016-09-14

Family

ID=52129612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013109131A Expired - Fee Related JP5992866B2 (ja) 2013-05-23 2013-05-23 主観画質推定装置、及び、主観画質推定プログラム

Country Status (1)

Country Link
JP (1) JP5992866B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560696B2 (en) * 2018-06-25 2020-02-11 Tfi Digital Media Limited Method for initial quantization parameter optimization in video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817246B2 (ja) * 2006-07-31 2011-11-16 Kddi株式会社 映像品質の客観評価装置
JP4802200B2 (ja) * 2008-02-14 2011-10-26 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP5523357B2 (ja) * 2011-01-05 2014-06-18 日本電信電話株式会社 映像品質推定装置及び方法及びプログラム

Also Published As

Publication number Publication date
JP2014230151A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
US9781449B2 (en) Rate distortion optimization in image and video encoding
US20160234496A1 (en) Near visually lossless video recompression
US20130195206A1 (en) Video coding using eye tracking maps
Shahid et al. A no-reference machine learning based video quality predictor
Takeuchi et al. Perceptual quality driven adaptive video coding using JND estimation
JP6145069B2 (ja) 主観画質推定装置及び主観画質推定プログラム
Uhl et al. Comparison study of H. 264/AVC, H. 265/HEVC and VP9-coded video streams for the service IPTV
Amirpour et al. Between two and six? towards correct estimation of jnd step sizes for vmaf-based bitrate laddering
US11303916B2 (en) Motion compensation techniques for video
JP5992866B2 (ja) 主観画質推定装置、及び、主観画質推定プログラム
JP5956316B2 (ja) 主観画質推定装置、主観画質推定方法及びプログラム
Sanz-Rodriguez et al. RBF-based QP estimation model for VBR control in H. 264/SVC
Lebreton et al. Network and content-dependent bitrate ladder estimation for adaptive bitrate video streaming
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
JP2005124145A (ja) デジタル映像データの復号化方法
US20190238856A1 (en) Estimating video quality of experience
Deshpande et al. Performance analysis of various video compression standards
JP5756154B2 (ja) 映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラム
KR20040107850A (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
De Cock et al. Constant-slope rate allocation for distributed real-world encoding
Topiwala et al. Deep learning and video quality analysis
Pal et al. G. 1070 model extension at full HD resolution for VP9/HEVC codec
Menkovski Computational inference and control of quality in multimedia services
Milivojević et al. Video coding and constant quality evaluation using 4k aomenc-AV1 and rav1e-AV1 formats

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160818

R150 Certificate of patent or registration of utility model

Ref document number: 5992866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees