JP6145069B2 - Subjective image quality estimation device and subjective image quality estimation program - Google Patents
Subjective image quality estimation device and subjective image quality estimation program Download PDFInfo
- Publication number
- JP6145069B2 JP6145069B2 JP2014093549A JP2014093549A JP6145069B2 JP 6145069 B2 JP6145069 B2 JP 6145069B2 JP 2014093549 A JP2014093549 A JP 2014093549A JP 2014093549 A JP2014093549 A JP 2014093549A JP 6145069 B2 JP6145069 B2 JP 6145069B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subjective
- feature
- parameter
- quality estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像の主観画質を推定する主観画質推定装置及び主観画質推定プログラムに関する。 The present invention relates to a subjective image quality estimation apparatus and a subjective image quality estimation program for estimating the subjective image quality of a moving image.
3G(3rd Generation)、LTE(Long Term Evolution)といった移動回線や、スマートフォン、タブレットといった携帯端末が普及したことによって、不安定なネットワークの下でも、複数の異なる端末に動画像を配信できることが重要となっている。 With the spread of mobile lines such as 3G (3rd Generation) and LTE (Long Term Evolution) and mobile terminals such as smartphones and tablets, it is important to be able to deliver moving images to multiple different terminals even under unstable networks. It has become.
端末毎のドット密度(dots per inch:dpi)の違い及びネットワークによる利用可能な帯域の違いに応じて動画像を配信するための方式にHAS(Http Adaptive Streaming)がある。近年では、HASは、MPEG−DASH(Moving Picture Experts Group-Dynamic adaptive streaming over HTTP)として規格化されている(例えば、非特許文献1参照)。 There is HAS (Http Adaptive Streaming) as a method for distributing moving images in accordance with the difference in dot density (dots per inch: dpi) for each terminal and the difference in available bandwidth depending on the network. In recent years, HAS has been standardized as Moving Picture Experts Group-Dynamic adaptive streaming over HTTP (MPEG-DASH) (see, for example, Non-Patent Document 1).
MPEG−DASHでは、視聴者のネットワーク状況等に合わせて、ビットレートを動的に切り替えて配信を行う。想定する配信ビットレートで画素数及びフレームレートが変化したときの配信品質を向上させるため、画質は、定量的に評価される必要がある。ここで、画素数とは、動画像のピクチャ(フレーム)における総画素数であり、縦の画素数×横の画素数の値である。具体的には、2000[kbps]で動画像を配信するときに、画素数を2073600(=1920×1080)、または、921600(=1280×720)のいずれにするのかを決定する画質評価と、フレームレートを30[fps]または15[fps]のいずれにするのかを決定する画質評価とがある。 In MPEG-DASH, distribution is performed by dynamically switching the bit rate according to the network status of the viewer. In order to improve the distribution quality when the number of pixels and the frame rate change at the assumed distribution bit rate, the image quality needs to be evaluated quantitatively. Here, the number of pixels is the total number of pixels in a moving picture (frame), and is a value of the number of vertical pixels × the number of horizontal pixels. Specifically, when distributing a moving image at 2000 [kbps], an image quality evaluation for determining whether the number of pixels is 2073600 (= 1920 × 1080) or 921600 (= 1280 × 720); There is image quality evaluation for determining whether the frame rate is 30 [fps] or 15 [fps].
従来の画質評価では、ITU−R勧告BT.500−11、ITU−T勧告P.910などに規定されている方法を用いて、主観評価実験が行われてきた(例えば、非特許文献2、3参照)。従来の画質評価では、20名程度の被験者に動画像が提示され、それら被験者の主観により、動画像に評点が付けられる。被験者による評点の平均は、平均オピニオン評点(Mean Opinion Score:MOS)と呼ばれ、評価した動画像の品質とされる。
In the conventional image quality evaluation, ITU-R recommendation BT. 500-11, ITU-T recommendation P.500. Subjective evaluation experiments have been performed using the methods defined in 910 and the like (see, for example,
これらの主観評価実験では、評価環境を規定に沿って用意し、被験者が集められなければならない。さらに、これらの主観評価実験では、評価する動画像を被験者に何度も見てもらい、評点をつけてもらわなければならない。そのため、個別の動画像に対して主観評価を行うには、コストがかかるという問題がある。 In these subjective evaluation experiments, the evaluation environment must be prepared according to regulations and the subjects must be gathered. Furthermore, in these subjective evaluation experiments, it is necessary to have the subject watch the moving image to be evaluated many times and receive a score. For this reason, there is a problem that it is expensive to perform subjective evaluation on individual moving images.
そこで、動画像の特徴(画像特徴量のこと。画像特徴ベクトルのときもある)を算出し、その算出した特徴から動画像の品質を導出する客観画質評価が検討されている。ITU−T J.143(例えば、非特許文献4参照)には、客観画質評価法のフレームワークが規定されている。客観画質評価法のフレームワークは、以下の三つに分類される。
(i)Full Reference(FR)型
圧縮前(符号化前)の原画像及び復号画像、または送信画像及び受信画像を用いて評価する方法である。
(ii)No Reference(NR)型
復号画像または受信画像のみを用いて評価する方法である。
(iii)Reduced Reference(RR)型
情報量が制限された原画像または送信画像の画像特徴及び復号画像または受信画像を用いて評価する方法である。
In view of this, objective image quality evaluation for calculating a feature of a moving image (an image feature amount, sometimes an image feature vector) and deriving the quality of the moving image from the calculated feature is being studied. ITU-T J.I. 143 (see, for example, Non-Patent Document 4) defines a framework for objective image quality evaluation methods. The objective image quality evaluation method framework is classified into the following three categories.
(I) Full Reference (FR) type This is an evaluation method using an original image and a decoded image before compression (before encoding), or a transmission image and a reception image.
(Ii) No Reference (NR) type This is an evaluation method using only a decoded image or a received image.
(Iii) Reduced Reference (RR) type This is an evaluation method using image characteristics of an original image or transmission image with a limited amount of information and a decoded image or a received image.
多くの主観画質推定方法は、上記の三つの分類のいずれかに属している(例えば、非特許文献5〜7参照)。ここで、FR型の主観画質推定式構築までの動作手順を説明する。図12は、従来技術による主観画質推定式の構築までの動作手順を示すフローチャートである。
Many subjective image quality estimation methods belong to one of the above three classifications (see, for example, Non-Patent
まず、動画像の符号化前データ(原画像)Ii(0<i≦N、Nは1以上の整数)、テスト画像Diを用意し、主観評価実験が行われることで、主観画質推定式は、主観評価値siを取得する(ステップS81)。 First, pre-coding data (original image) I i (0 <i ≦ N, N is an integer equal to or greater than 1) and test image D i are prepared and subjective evaluation experiments are performed to estimate subjective image quality. The expression acquires the subjective evaluation value s i (step S81).
次に、動画像の符号化前データ(原画像)Ii、テスト画像Diから特徴f1,…,fMが取り出され、主観画質推定式s(f1,…,fM|Di,Ii)は、N個の組み合わせに対して構築する(ステップS82)。 Next, features f 1 ,..., F M are extracted from the pre-coding data (original image) I i and test image D i of the moving image, and the subjective image quality estimation formula s (f 1 ,..., F M | D i , I i ) is constructed for N combinations (step S82).
次に、主観評価値Siと、主観画質推定式s(f1,…,fM|Di,Ii)との組み合わせにより、主観画質推定式s(f1,…,fM|Di,Ii)のパラメータを最適化し、任意の動画像に対する主観画質推定式s(f1,…,fM)を得る(ステップS83)。 Then, a subjective evaluation value S i, the subjective quality estimation formula s (f 1, ..., f M | D i, I i) by a combination of the subjective quality estimation formula s (f 1, ..., f M | D The parameters of i , I i ) are optimized to obtain a subjective image quality estimation formula s (f 1 ,..., f M ) for an arbitrary moving image (step S83).
そして、任意の動画像の符号化前データ(原画像)I及び復号画像Dから取り出した特徴f1,…,fMと、主観画質推定式s(f1,…,fM)と、に基づいて、主観画質を推定する(ステップS84)。ここで、特徴f1,…,fMは、画素信号を特徴とした場合も包含するものとする。 Then, the features f 1 ,..., F M extracted from the pre-encoding data (original image) I and the decoded image D of any moving image and the subjective image quality estimation formula s (f 1 ,..., F M ) Based on this, the subjective image quality is estimated (step S84). Here, the features f 1 ,..., F M include cases where pixel signals are featured.
なお、RR型では、画素信号は包含されない。また、NR型では、主観画質推定式s(f1,…,fM|Di,Ii)ではなく、主観画質推定式s(f1,…,fM|Di)に基づいて、パラメータが最適化される。 In the RR type, pixel signals are not included. In the NR type, not based on the subjective image quality estimation formula s (f 1 ,..., F M | D i , I i ), but based on the subjective image quality estimation formula s (f 1 ,..., F M | D i ) The parameters are optimized.
しかしながら、これらのフレームワークを用いた従来の主観画質推定方法は、特定の表示環境を想定しており、画素数及びフレームレートの変化に対応した手法とはなっていない。画素数及びフレームレートの変化に対応した主観画質推定方法としては、スケーラブル・ビデオ・コーディング(Scalable Video Coding)における主観画質推定方法が挙げられる(例えば、非特許文献8、9参照)。非特許文献8では、(1)式に基づいて、主観画質が推定される。
ここで、SVは、MPEG−7規格に定められた「Spatial Activity」である。また、TVは、MPEG−7規格に定められた「Temporal Activity」である。また、(1)式に示すFRは、フレームレートである。また、xは、動画像の横幅の画素数を示す。(1)式の主観画質推定式は、PSNR(ピーク信号対雑音比)といった従来の客観画質評価値に加え、画素数及びフレームレートの変化の影響を、SV及びTVにより表現している。そのため、この主観画質推定式は、PSNRのみでは比較ができなかった異なる画素数及びフレームレートについても、主観画質を比較することができる。 Here, SV is “Spatial Activity” defined in the MPEG-7 standard. TV is “Temporal Activity” defined in the MPEG-7 standard. Further, FR shown in the equation (1) is a frame rate. Further, x indicates the number of horizontal pixels of the moving image. The subjective image quality estimation formula (1) expresses the influence of changes in the number of pixels and the frame rate by SV and TV in addition to the conventional objective image quality evaluation value such as PSNR (peak signal to noise ratio). Therefore, this subjective image quality estimation formula can compare the subjective image quality with respect to different pixel numbers and frame rates that cannot be compared only with PSNR.
複数のビットレートに対して動画像を符号化する状況で、画素数及びフレームレートを動画像毎に主観画質が最大となるように決定したい場合、動画像毎の主観画質が推定される必要がある。HASによる主観画質推定に対して、従来の客観画質評価法のフレームワークを適用することを考えると、上記の三つのフレームワーク(FR型、RR型、NR型)では、主観画質は、動画像の符号化前には評価することができず、動画像が何度も符号化されてから評価されることになる。 In a situation where moving images are encoded for a plurality of bit rates, if it is desired to determine the number of pixels and the frame rate so that the subjective image quality is maximized for each moving image, the subjective image quality for each moving image needs to be estimated. is there. Considering that the framework of the conventional objective image quality evaluation method is applied to the subjective image quality estimation by HAS, in the above three frameworks (FR type, RR type, NR type), the subjective image quality is a moving image. Cannot be evaluated before encoding, and the moving image is evaluated after being encoded many times.
図13は、従来のフレームワークで主観画質を推定し、画素数及びフレームレートを決定する動作手順を示すフローチャートである。HASでは、まず、候補の画素数、フレームレート、または、ビットレートもしくは量子化パラメータにより、動画像を符号化する(ステップS91)。続いて、得られた符号化データを復号し、主観画質推定値を算出する(ステップS92)。そして、画素数、フレームレート及びビットレートの全ての候補について、主観画質を推定したか否かを判定する(ステップS93)。 FIG. 13 is a flowchart showing an operation procedure for estimating the subjective image quality and determining the number of pixels and the frame rate using the conventional framework. In HAS, first, a moving image is encoded based on the number of candidate pixels, frame rate, bit rate, or quantization parameter (step S91). Subsequently, the obtained encoded data is decoded, and a subjective image quality estimated value is calculated (step S92). Then, it is determined whether or not subjective image quality has been estimated for all candidates for the number of pixels, the frame rate, and the bit rate (step S93).
主観画質が推定されていない画素数、フレームレート及びビットレートの候補が残っている場合、まだ符号化していない画素数、フレームレート及びビットレートの候補について符号化を行い、処理を戻す。一方、画素数、フレームレート及びビットレートの全ての候補について、主観画質が推定された場合、処理が進められる。最後に、主観画質推定値が最大となる画素数及びフレームレートを候補の組み合わせから決定して出力する(ステップS94)。 If the number of pixels, frame rate, and bit rate candidates for which subjective image quality has not been estimated remain, encoding is performed for the number of pixels, frame rate, and bit rate candidates that have not yet been encoded, and the process returns. On the other hand, if the subjective image quality is estimated for all candidates for the number of pixels, the frame rate, and the bit rate, the process proceeds. Finally, the number of pixels and the frame rate at which the subjective image quality estimation value is maximized are determined from the candidate combinations and output (step S94).
しかしながら、主観画質推定式を構築して主観画質を推定する上記の方法では、動画像の符号化及び復号が何度も実行されなければならず、計算コストが高くなってしまう。すなわち、従来の主観画質推定装置は、所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、符号化を繰り返さなければ、この動画像の主観画質を精度よく推定することができないという問題がある。 However, in the above method for estimating the subjective image quality by constructing the subjective image quality estimation formula, the encoding and decoding of the moving image must be executed many times, and the calculation cost becomes high. That is, the conventional subjective image quality estimation apparatus estimates the subjective image quality of a moving image with high accuracy unless the encoding is repeated when estimating the subjective image quality of the moving image with respect to a desired bit rate, number of pixels, and frame rate. There is a problem that can not be.
本発明は、このような事情に鑑みてなされたもので、所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、計算コストを低減させつつ、動画像の主観画質を精度よく推定することができる主観画質推定装置及び主観画質推定プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances. When estimating the subjective image quality of a moving image with respect to a desired bit rate, the number of pixels, and the frame rate, the subjective image quality of the moving image is reduced while reducing the calculation cost. It is an object of the present invention to provide a subjective image quality estimation device and a subjective image quality estimation program capable of estimating with high accuracy.
本発明は、入力された動画像を所定の画素数及びフレームレートを有する動画像に変換する動画像変換部と、入力された前記動画像の符号化の複雑度を表す第1の画像特徴と、変換後の前記動画像の画像特徴である第2の画像特徴を算出する画像特徴算出部と、前記第1の画像特徴から1画素あたりの平均符号量を用いて量子化パラメータを予測する予測式を記述するために用いる画像パラメータを生成する画像パラメータ導出部と、前記第2の画像特徴、前記画素数、前記フレームレート及び1画素あたりの平均符号量を入力として前記画像パラメータを用いた前記予測式を用いて主観画質推定値を推定する主観画質推定部とを備えることを特徴とする。 The present invention provides a moving image conversion unit that converts an input moving image into a moving image having a predetermined number of pixels and a frame rate, and a first image feature that represents the complexity of encoding the input moving image. An image feature calculation unit that calculates a second image feature that is an image feature of the moving image after conversion, and a prediction that predicts a quantization parameter from the first image feature using an average code amount per pixel An image parameter deriving unit that generates an image parameter used to describe an expression; and the second image feature, the number of pixels, the frame rate, and the average code amount per pixel as an input, and the image parameter is used. And a subjective image quality estimation unit that estimates a subjective image quality estimation value using a prediction formula.
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する画像パラメータを画像パラメータデータベースから導出し、前記誤差を重みとして導出した前記画像パラメータの加重平均をとった重みづけ和を前記画像パラメータとして生成することを特徴とする。 In the present invention, the image parameter derivation unit further includes an image parameter database storing a set of a plurality of the image parameters and the first image features, and the first image features stored in the image parameter database. And an image parameter corresponding to the first image feature stored in the image parameter database selected using the error is calculated by calculating an error between the image feature calculation unit and the first image feature calculated by the image feature calculation unit. A weighted sum that is derived from a parameter database and is a weighted average of the image parameters derived using the error as a weight is generated as the image parameter.
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの中央値を前記画像パラメータとして生成することを特徴とする。 In the present invention, the image parameter derivation unit further includes an image parameter database storing a set of a plurality of the image parameters and the first image features, and the first image features stored in the image parameter database. And the first image feature calculated by the image feature calculation unit, and the image parameter corresponding to the first image feature stored in the image parameter database selected using the error is calculated. It is derived from the image parameter database, and a median value of the derived image parameters is generated as the image parameter.
本発明は、前記画像パラメータ導出部は、複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの平均値を画像パラメータとして生成することを特徴とする。 In the present invention, the image parameter derivation unit further includes an image parameter database storing a set of a plurality of the image parameters and the first image features, and the first image features stored in the image parameter database. And the first image feature calculated by the image feature calculation unit, and the image parameter corresponding to the first image feature stored in the image parameter database selected using the error is calculated. It is derived from the image parameter database, and an average value of the derived image parameters is generated as an image parameter.
本発明は、コンピュータを、前記主観画質推定装置として機能させるための主観画質推定プログラムである。 The present invention is a subjective image quality estimation program for causing a computer to function as the subjective image quality estimation device.
本発明によれば、計算コストを低減させつつ、動画像の主観画質を精度よく推定することができるという効果が得られる。 According to the present invention, it is possible to accurately estimate the subjective image quality of a moving image while reducing the calculation cost.
以下、図面を参照して、本発明の一実施形態による主観画質推定装置を説明する。図1は同実施形態の構成を示すブロック図である。主観画質推定装置1は、動画像変換部2と、画像特徴算出部3と、画像パラメータ導出部4と、主観画質推定部5とを備える。
Hereinafter, a subjective image quality estimation apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. The subjective image
動画像変換部2は、符号化前の動画像(原画像)Iと、主観画質を推定したい画素数pとフレームレートfとを外部から入力する。動画像変換部2は動画像の符号化前の動画像を画素数pとフレームレートfに変換した動画像Ip,fを出力する。
The moving
画像特徴算出部3は2つの機能がある。1つの機能は、符号化前の動画像Iから動画像の符号化の複雑さ(詳細は後述)を現すための画像特徴Acを算出して出力する。もう1つの機能は、画素数pとフレームレートfの動画像Ip,fを受け取り、その変換された動画像Ip,fでの画像特徴Bvを算出する。
The image
画像パラメータ導出部4は主観画質の推定に必要な画像パラメータε,δ(詳細は後述)を算出する。画像パラメータ導出部はあらかじめ複数の動画像それぞれについて画像パラメータをデータベース(画像パラメータデータベース)で保持しており、その画像パラメータには、あらかじめ計算した複数の符号化前の動画像の画像特徴が紐づけられている。画像パラメータ導出部4は主観画質を推定する符号化前の動画像の画像特徴Aと画像パラメータデータベースで保持されている画像特徴との誤差を算出し、誤差の少ない複数の画像パラメータを誤差に基づいて重み付け和し、主観画質を推定する動画像の画像パラメータε,δとして出力する。
The image
主観画質推定部5は、画素数pと、フレームレートfと、1画素あたりの平均符号量bと画像特徴Bvと、画像パラメータε,δとを受け取り、それらを主観画質推定式s(p,f,b,v,ε,δ)に、パラメータとして代入することにより、主観画質推定値sを、推定結果として出力する。
The subjective image
次に、図2を参照して、図1に示す主観画質推定装置が主観画質推定値を算出する処理動作を説明する。図2は、図1に示す主観画質推定装置が主観画質推定値を算出する処理動作を示すフローチャートである。ここで、符号化前の動画像Iを複数の画素数、フレームレート、1画素あたりの平均符号量の組み合わせ(M個の組み合わせ)に符号化するとして、その主観画質推定値を求めるものとする。各組み合わせでの画素数をpj、フレームレートをfj、1画素あたりの平均符号量をbjとする(0<j≦M)。 Next, a processing operation in which the subjective image quality estimation apparatus shown in FIG. 1 calculates a subjective image quality estimation value will be described with reference to FIG. FIG. 2 is a flowchart showing a processing operation in which the subjective image quality estimation apparatus shown in FIG. 1 calculates a subjective image quality estimated value. Here, assuming that the moving image I before encoding is encoded into a combination of a plurality of pixels, a frame rate, and an average code amount per pixel (M combinations), the subjective image quality estimation value is obtained. . The number of pixels in each combination is p j , the frame rate is f j , and the average code amount per pixel is b j (0 <j ≦ M).
まず、画像特徴算出部3は、符号化前の動画像データIを入力し(ステップS1)、画像特徴Acを画像パラメータ導出部4に送る。画像パラメータ導出部4は画像特徴Acと画像パラメータデータベースのもつ画像特徴と誤差(詳細は後述)を算出する。誤差の低い上位K個の画像パラメータεk,δk(0<k≦K)を誤差に基づいて重み付け和を行い、それをε,δとする(ステップS2)。そして、画像パラメータ導出部4は、画像パラメータε,δを主観画質推定部5へ出力する。
First, the image
次に、動画像変換部2は、動画像データIを入力し、符号化する候補の組み合わせ(pj,fj)に変換した動画像Ipj,fjを画像特徴算出部3に出力する。画像特徴算出部3は変換された動画像を入力として受け取り、画像特徴Bvjを求め(ステップS3)、この画像特徴Bvjを主観画質推定部5に出力する。
Next, the moving
次に、主観画質推定部5は画像パラメータε,δと、画像特徴Bvjと、1画素あたりの平均符号量bj、画素数pj、フレームレートfjを入力として受け取り、主観画質推定式s(p,f,b,v,ε,δ)を求め(ステップS4)、主観画質推定式s(p,f,b,v,ε,δ)により、主観画質推定値を算出し、出力する(ステップS5)。
Next, the subjective image
なお、bjは(2)式により、計算する。
次に、図1に示す各部の詳細について図面を参照して説明する。始めに、図1に示す動画像変換部2について説明する。図3は、図1に示す動画像変換部2の処理動作を示すフローチャートである。動画像変換部2は、まず、原画像Iを入力し(ステップS11)、入力された符号化前の動画像(原画像)Iを所望の画素数p、フレームレートfにアップサンプリング、もしくはダウンサンプリングする。
Next, details of each part shown in FIG. 1 will be described with reference to the drawings. First, the moving
ダウンサンプリングフィルタ、アップサンプリングフィルタは状況に応じて使い分けてよい。例えば、画素数のダウンサンプリングには間引き、アップサンプリングにはバイラテラルフィルタ、DCT補間フィルタなどを用いてよい。フレームレートのダウンサンプリングは間引き、アップサンプリングはフレームコピーなどによって行ってもよい。そして、動画像変換部2は、変換後の動画像Ip,fを出力する(ステップS12)。
The downsampling filter and the upsampling filter may be properly used depending on the situation. For example, thinning may be used for downsampling the number of pixels, and a bilateral filter, a DCT interpolation filter, or the like may be used for upsampling. The frame rate downsampling may be thinned out, and the upsampling may be performed by frame copy or the like. Then, the moving
次に、図1に示す画像特徴算出部3について説明する。画像特徴算出部3は、2つの機能があり、それぞれについて説明する。図4は、図1に示す画像特徴算出部3における1つ目の機能の動作を示すフローチャートである。まず、画像特徴算出部3は、符号化前の動画像Iを入力し(ステップS21)、符号化の複雑さを表現する画像特徴Acを算出する(ステップS22)。
Next, the image
ここで符号化の複雑さとは、例えば、動画像の各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いとに応じて定まる。H.264/AVC、H.265/HEVCでは、フレーム内予測、フレーム間予測が動画像内での相関を除去するために用いられており、各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いが大きいと符号量が大きくなる性質を持っている。すなわち、符号化が複雑であるとは、符号化効率が低い動画像のことである。そして、符号化の複雑さは、動画像の各フレーム内でのテクスチャの違いと、フレーム間のテクスチャの違いの大きさによって決まる。 Here, the complexity of encoding is determined according to, for example, a difference in texture within each frame of a moving image and a difference in texture between frames. H. H.264 / AVC, H.H. In H.265 / HEVC, intra-frame prediction and inter-frame prediction are used to remove the correlation in the moving image. If the difference in texture in each frame and the difference in texture between frames are large, the code amount Has the property of becoming larger. That is, encoding is complicated means a moving image with low encoding efficiency. The complexity of encoding is determined by the difference in texture within each frame of the moving image and the magnitude of the difference in texture between frames.
上記の性質を鑑みて、画像特徴AcはITU−T勧告P.910(例えば、非特許文献3)で定義されているSpatial Information(SI)、Temporal Information(TI)の積のような特徴量、(3)式のような特徴量を要素とする特徴ベクトルを用いる例があげられる。
ITU−T勧告P.910で定義されているSIでは、動画像の各フレームで空間特徴量を算出し、その最大値がSIとなるが、SIminは、最小値を選択した場合である。TIminも同様である。SIaveは、各フレームで算出された空間特徴量を平均した値である。TIaveもSIaveと同様で、各時刻での時間特徴量の平均である。SIvarは各フレームで算出する空間特徴量の分散である。TIvarは各時刻での時間特徴量の分散である。Intensityaveは動画像の全画素の輝度平均値である。主観画質を推定したい動画像のフレーム数をN、ある時点でのフレーム番号n(0<n<=N)とすると、それぞれ(4)式〜(12)式で現せる。 ITU-T recommendation P.I. In SI defined in 910, a spatial feature amount is calculated for each frame of a moving image, and its maximum value is SI. SI min is a case where the minimum value is selected. The same applies to TI min . SI ave is a value obtained by averaging the spatial feature amounts calculated in each frame. TI ave is the same as SI ave, and is an average of time feature values at each time. SI var is a variance of spatial feature values calculated in each frame. TI var is the variance of the time feature value at each time. Intensity ave is an average luminance value of all pixels of the moving image. Assuming that the number of frames of a moving image whose subjective image quality is to be estimated is N and the frame number n at a certain point in time (0 <n <= N), these can be expressed by equations (4) to (12), respectively.
図5は、図1に示す画像特徴算出部3における2つ目の機能の動作を示すフローチャートである。動画像変換部2により画素数とフレームレートが変換された動画像Ip,fを入力として受け取り(ステップS31)、その動画像Ip,fに対応する画像特徴Bvを算出する(ステップS32)。ここで、vは動画像の空間方向、時間方向の特徴を内包した画像特徴であり、例として、SIとTIの積を用いることがあげられる。
FIG. 5 is a flowchart showing the operation of the second function in the image
次に、図1に示す画像パラメータ導出部4について説明する。図6は、図1に示す画像パラメータ導出部4の処理動作を示すフローチャートである。まず、画像パラメータ導出部4は、画像特徴算出部3で算出した画像特徴Acを入力として受け取る(ステップS41)。画像パラメータ導出部4は、図7に示す画像パラメータデータベースを備える。画像パラメータデータベースは画像パラメータεi、δiとそれに対応する画像特徴cl(0<l≦L)を保持している。
Next, the image
画像特徴ciは上述の画像特徴Acと同様の構成をとっており、動画像の符号化の複雑さを表現する特徴量、もしくは特徴ベクトルである。特徴量の場合はcとciの絶対値差分、特徴ベクトルの場合はcとciの各次元の絶対値差分の総和を画像パラメータデータベースに存在する全てのεi、δiに紐づいた画像特徴で計算し、絶対値差分、もしくは絶対値差分の総和(誤差)Diを算出する(ステップS42)。DiはcがC次元ベクトルの場合(13)式で現せる。
誤差が最小となるときのciに紐づいた画像パラメータεi、δiを主観画質推定部5へと出力する方法もあるが、これは画像特徴とε、δの対応付けに失敗している映像が選択された場合に大きく異なるε、δが選ばれ、不適切な画像パラメータが主観画質推定部5に出力される問題がある。そこで、不適切な画像パラメータが選択されることを防ぐため、以下の処理を行う。
There is also a method of outputting the image parameters ε i and δ i associated with c i when the error is minimized to the subjective image
まず、画像特徴Acと誤差の少ない上位K個の画像特徴C1,…,CK、誤差D1,…,DKを画像パラメータデータベースから選択する(ステップS43)。ここで、添え字の順序は誤差の順序と一致することとし、添え字1の誤差が最小とする。全ての誤差D1,…,DKに対して2つの閾値処理を行う。
First, the top K image features C 1 ,..., C K and errors D 1 ,..., D K with few errors from the image feature Ac are selected from the image parameter database (step S43). Here, the order of the subscripts coincides with the order of the errors, and the error of the
次に、i=Kであるかを判定し(ステップS44)、i=Kでなく、誤差Di(0<i≦K)が閾値Thlowを下回ったら(ステップS45)、インデックスiを優先重み付和リストList1に格納する(ステップS46)。Diが閾値Thlowを上回っており、閾値Thhighより下回っていたら(ステップS47)、重み付和リストList2にインデックスiへと格納する(ステップS48)。これを全てのiに対して(iがKになるまで)行う。ここで、優先重み付和リストList1、重み付和リストList2にどのインデックスも格納されなかったら画像パラメータデータベースの全画像パラメータの平均が出力される。 Next, it is determined whether i = K (step S44). If i = K and the error D i (0 <i ≦ K) falls below the threshold value Th low (step S45), the index i is given a priority weight. The sum is stored in the sum list List1 (step S46). D i is above the threshold Th low, If you have less than the threshold Th high (step S47), to store and to the index i to the weighted sum list List2 (step S48). This is performed for all i (until i becomes K). If no index is stored in the priority weighted sum list List1 and the weighted sum list List2, the average of all image parameters in the image parameter database is output.
優先重み付和リストList1にインデックスが格納されており(ステップS49)、その格納数が1個であった場合は(ステップS50)、その格納されているインデックスiに対応するεi、δiを出力する(ステップS51)。そして、格納数が3個以上であれば(ステップS52)、後述する外れ値処理が行われ、List1を更新する(ステップS53)。格納数が2個の場合はList1は更新されない。 If an index is stored in the priority weighted sum list List1 (step S49) and the number of stored data is 1 (step S50), ε i and δ i corresponding to the stored index i are set. Output (step S51). If the stored number is 3 or more (step S52), outlier processing described later is performed, and List1 is updated (step S53). When the number of storage is two, List1 is not updated.
次に更新された、もしくは更新されていないList1を用いて誤差量に応じた重みを算出する(ステップS54)。そして、重みw1,…,wkをc1,…,ckに紐づいたε1,…,εk,δ1,…δkにそれぞれ掛け合わせて重み付和を取り、ε,δを算出する(ステップS55)。
Next, the weight corresponding to the error amount is calculated using the updated or not updated List 1 (step S54). Then, the
一方、優先重み付和リストList1にインデックスが格納されておらず(ステップS49)、重み付和リストList2のインデックスが格納されている場合(ステップS56)で、さらに格納数が1個であった場合(ステップS57)は、その格納されているインデックスiに対応するεi、δiを出力する(ステップS58)。そして、画像パラメータデータベースが保持しているε、δの平均を出力する(ステップS59)。 On the other hand, when the index is not stored in the priority weighted sum list List1 (step S49), the index of the weighted sum list List2 is stored (step S56), and the stored number is one. (Step S57) outputs ε i and δ i corresponding to the stored index i (Step S58). Then, the average of ε and δ held in the image parameter database is output (step S59).
そして、格納数が3個以上であれば(ステップS60)、後述する外れ値処理が行われ、List2を更新する(ステップS61)。格納数が2個の場合はList2は更新されない。次に更新された、もしくは更新されていないList2を用いて誤差量に応じた重みを算出する(ステップS62)。そして、重みw1,…,wkをc1,…,ckに紐づいたε1,…,εk,δ1,…δkにそれぞれ掛け合わせて重み付和を取り、ε,δを算出する(ステップS63)。
If the stored number is 3 or more (step S60), outlier processing described later is performed, and List2 is updated (step S61). List2 is not updated when the number of storage is two. Next, a weight corresponding to the error amount is calculated using List2 that has been updated or not updated (Step S62). Then, the
なお、いずれの外れ値処理も一般に3以上の整数であるKを採用して実行することとしてもよい。 It should be noted that any outlier processing may be executed by employing K, which is generally an integer of 3 or more.
次に、重み付和の方法について説明する。誤差の低い上位K個の画像特徴と紐づけられたεk、δk(0<k<=K)に対して、誤差に基づいた重みwkを算出する。その重みを用いて各εk、δkに対して重み付け和を取ったε、δを出力する。これにより、特徴量、特徴ベクトルがε、δと対応が取れてない場合が最小となった場合でも、大きく外れたε、δが出力されることを防ぐことができる。Wk、ε、δは(14)式〜(16)式で現せる。
次に、外れ値処理について説明する。ここで、優先重み付和リスト、もしくは重み付和リストに1,…Kのインデックスが格納されているとする。誤差D1,…DKまでの誤差の差分が閾値Thdiff以内、つまり|D1−Dk|<Thdiffの場合であれば、εk,δkのうち、大きく外れている画像パラメータを除外する。具体的には、(17)式、(18)式に示す画像パラメータである。
εave、δaveは(19)式、(20)式のように算出する。
これらの処理により誤差が同等でも画像パラメータが大きく異なる動画像を除外することができる。外れ値処理では、この処理を全インデックスに対して一度行う。また、外れ値処理を行うのではなく、優先重み付和リスト、もしくは重み付和リストにある画像パラメータの平均値、もしくは中央値をεi、δiとして出力するといった方法でもよい。 With these processes, it is possible to exclude moving images having greatly different image parameters even if errors are equal. In outlier processing, this processing is performed once for all indexes. Instead of performing outlier processing, a method may be used in which the priority weighted sum list or the average value or median value of the image parameters in the weighted sum list is output as ε i and δ i .
画像パラメータ導出部4は、主観画質推定の際に必要な画像パラメータε、δを出力するが、そのε、δについて説明する。ここで、ε、δとは、(21)式のパラメータである。
次に、図1に示す主観画質推定部5の主観画質推定式について説明する。図8は、図1に示す主観画質推定部5の処理動作を示すフローチャートである。まず、主観画質推定部5は、外部より、画素数p、フレームレートf、1画素あたりの平均符号量bを受け取る。また、画像特徴算出部3より、画像特徴Bvを受け取る。また、画像パラメータ導出部4より、ε、δを受け取る(ステップS71)。主観画質推定部5は、これらの入力をもとにS(p,f,b,v,ε,δ)により、主観画質評価値sを出力する。例えば、S(p,f,b,v,ε,δ)は(22)式〜(25)式がある。
Next, the subjective image quality estimation formula of the subjective image
主観画質推定部5の主観画質推定式である(22)式は、QPとMOSの関係に基づいている。図9〜図11は、横軸がQP、縦軸がMOSを示す図である。これらの図の通り、QPとMOSは、画素数、フレームレートごとに一定の関係がある。しかし、固定ビットレートでの符号化ではQPをあらかじめ知ることができないため、符号化をしないとQPがわからないといった課題がある。そこで、(21)式によって1画素あたりの平均符号量からQPを予測している。1画素あたりの平均符号量とQPの関係を現す(21)式の関係式のパラメータはε、δはエンコーダ、動画像ごとに異なっており、これを求めるためには最低2回の符号化が必要となる。しかし、符号化を行うと計算量は増加するため、画像パラメータ導出部4により、ε、δを求めることで符号化前に主観画質が推定可能となる。
Expression (22), which is a subjective image quality estimation formula of the subjective image
また、各画素数、フレームレートにおいて、動画像間の関係は大きく変わらない。言い換えると、それぞれ示されたQP−MOSグラフ(図9〜図11)では、動画像毎のグラフの相対的な位置関係が変化していない。例えば、動画像“川”は“子供”と比較すると、QPが高い時でも高いMOSを得ており、それは各画素数、フレームレートにおいても同様の傾向である。画像特徴に依存しており、その補正のためのパラメータが画像特徴Bvであり、これにより高精度に主観画質を推定できる。 Further, the relationship between moving images does not change greatly in the number of pixels and the frame rate. In other words, in the QP-MOS graphs shown in FIGS. 9 to 11, the relative positional relationship of the graphs for each moving image does not change. For example, when compared with “children”, the moving image “river” obtains a high MOS even when the QP is high, and this is the same in the number of pixels and the frame rate. Depending on the image feature, the correction parameter is the image feature Bv, which makes it possible to estimate the subjective image quality with high accuracy.
以上のように、図1に示す主観画質推定装置1は、動画像を所望の画素数、フレームレートに変換するための動画像変換部2と、符号化前の動画像から符号化の複雑さを現す画像特徴Aと変換された動画像から主観画質推定式のパラメータである画像特徴Bを算出する画像特徴算出部3と、画像特徴Aに基づいて主観画質推定式に必要な画像パラメータを導出する画像パラメータ導出部4と、画像特徴Bと、画像パラメータと、画素数と、フレームレートと、1画素あたりの平均符号量と、所定の主観画質推定式と、に基づいて動画像の主観画質の推定値を算出する主観画質推定部5を備える。
As described above, the subjective image
画像特徴算出部は、符号化前の動画像(原画像)に基づいて、符号化の複雑さを現す画像特徴Aを算出する。画像パラメータ導出部は画像特徴Aに基づき画像パラメータを導出する。動画像変換部は動画像を所望の画素数とフレームレートに変換する。また、画像特徴算出部は所定の主観画質推定式に必要な動画像の画像特徴Bを動画像変換部により変換された動画像より算出する。この構成により、画像特徴Bと、画素数と、フレームレートと、1画素当たりの平均符号量と、画像パラメータとを用いて、主観画質推定装置及び主観画質推定プログラムは、所望のビットレート、画素数、及びフレームレートとなるよう動画像を符号化する際、符号化する前に、当該動画像の主観画質を精度よく推定できる。 The image feature calculation unit calculates an image feature A representing the complexity of encoding based on a moving image (original image) before encoding. The image parameter deriving unit derives an image parameter based on the image feature A. The moving image conversion unit converts the moving image into a desired number of pixels and frame rate. Further, the image feature calculation unit calculates the image feature B of the moving image necessary for the predetermined subjective image quality estimation formula from the moving image converted by the moving image conversion unit. With this configuration, the subjective image quality estimation device and the subjective image quality estimation program use the image feature B, the number of pixels, the frame rate, the average code amount per pixel, and the image parameters to obtain a desired bit rate, pixel When a moving image is encoded so that the number and the frame rate are obtained, the subjective image quality of the moving image can be accurately estimated before encoding.
前述した実施形態における主観画質推定装置1をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
You may make it implement | achieve the subjective image
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.
所望のビットレート、画素数及びフレームレートについて動画像の主観画質を推定する際、符号化を行わずに、動画像の主観画質を精度よく推定することが不可欠な用途に適用できる。 When estimating the subjective image quality of a moving image with respect to a desired bit rate, the number of pixels, and the frame rate, it can be applied to an application in which it is essential to accurately estimate the subjective image quality of a moving image without performing encoding.
1・・・主観画質推定装置、2・・・動画像変換部、3・・・画像特徴算出部、4・・・画像パラメータ導出部、5・・・主観画質推定部
DESCRIPTION OF
Claims (5)
入力された前記動画像の符号化の複雑度を表す第1の画像特徴と、変換後の前記動画像の画像特徴である第2の画像特徴を算出する画像特徴算出部と、
前記第1の画像特徴から1画素あたりの平均符号量を用いて量子化パラメータを予測する予測式を記述するために用いる画像パラメータを生成する画像パラメータ導出部と、
前記第2の画像特徴、前記画素数、前記フレームレート及び1画素あたりの平均符号量を入力として前記画像パラメータを用いた前記予測式を用いて主観画質推定値を推定する主観画質推定部と
を備えることを特徴とする主観画質推定装置。 A moving image conversion unit that converts the input moving image into a moving image having a predetermined number of pixels and a frame rate;
A first image feature representing the complexity of encoding of the input moving image, and an image feature calculating unit that calculates a second image feature that is an image feature of the converted moving image;
An image parameter deriving unit that generates an image parameter used to describe a prediction expression for predicting a quantization parameter using an average code amount per pixel from the first image feature;
A subjective image quality estimation unit configured to estimate a subjective image quality estimation value using the prediction formula using the image parameter by inputting the second image feature, the number of pixels, the frame rate, and an average code amount per pixel; A subjective image quality estimation apparatus comprising:
複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する画像パラメータを画像パラメータデータベースから導出し、前記誤差を重みとして導出した前記画像パラメータの加重平均をとった重みづけ和を前記画像パラメータとして生成することを特徴とする請求項1に記載の主観画質推定装置。 The image parameter derivation unit includes:
An image parameter database storing a plurality of sets of the image parameters and the first image features;
An error between the first image feature stored in the image parameter database and the first image feature calculated by the image feature calculation unit is calculated, and stored in the image parameter database selected using the error. In addition, an image parameter corresponding to the first image feature is derived from an image parameter database, and a weighted sum obtained by taking a weighted average of the image parameters derived using the error as a weight is generated as the image parameter. The subjective image quality estimation apparatus according to claim 1.
複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの中央値を前記画像パラメータとして生成することを特徴とする請求項1に記載の主観画質推定装置。 The image parameter derivation unit includes:
An image parameter database storing a plurality of sets of the image parameters and the first image features;
An error between the first image feature stored in the image parameter database and the first image feature calculated by the image feature calculation unit is calculated, and stored in the image parameter database selected using the error. 2. The subjective image quality according to claim 1, wherein the image parameter corresponding to the first image feature is derived from the image parameter database, and a median value of the derived image parameter is generated as the image parameter. Estimating device.
複数の前記画像パラメータと前記第1の画像特徴との組を記憶する画像パラメータデータベースをさらに備え、
前記画像パラメータデータベースに記憶された前記第1の画像特徴と前記画像特徴算出部が算出した前記第1の画像特徴との誤差を算出し、該誤差を用いて選択した前記画像パラメータデータベースに記憶された前記第1の画像特徴に対応する前記画像パラメータを前記画像パラメータデータベースから導出し、導出した前記画像パラメータの平均値を画像パラメータとして生成することを特徴とする請求項1に記載の主観画質推定装置。 The image parameter derivation unit includes:
An image parameter database storing a plurality of sets of the image parameters and the first image features;
An error between the first image feature stored in the image parameter database and the first image feature calculated by the image feature calculation unit is calculated, and stored in the image parameter database selected using the error. 2. The subjective image quality estimation according to claim 1, wherein the image parameter corresponding to the first image feature is derived from the image parameter database, and an average value of the derived image parameter is generated as an image parameter. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093549A JP6145069B2 (en) | 2014-04-30 | 2014-04-30 | Subjective image quality estimation device and subjective image quality estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093549A JP6145069B2 (en) | 2014-04-30 | 2014-04-30 | Subjective image quality estimation device and subjective image quality estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015211424A JP2015211424A (en) | 2015-11-24 |
JP6145069B2 true JP6145069B2 (en) | 2017-06-07 |
Family
ID=54613302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014093549A Active JP6145069B2 (en) | 2014-04-30 | 2014-04-30 | Subjective image quality estimation device and subjective image quality estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6145069B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017157904A (en) * | 2016-02-29 | 2017-09-07 | 富士ゼロックス株式会社 | Information processor |
WO2021181681A1 (en) * | 2020-03-13 | 2021-09-16 | 日本電信電話株式会社 | Mathematical model derivation device, mathematical model derivation method, and program |
CN115457614B (en) * | 2021-05-20 | 2023-08-04 | 马上消费金融股份有限公司 | Image quality evaluation method, model training method and device |
CN114900692A (en) * | 2022-04-28 | 2022-08-12 | 有半岛(北京)信息科技有限公司 | Video stream frame rate adjusting method and device, equipment, medium and product thereof |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3725487B2 (en) * | 2002-03-13 | 2005-12-14 | 三菱電機株式会社 | Video encoding control device |
JP4243218B2 (en) * | 2004-05-11 | 2009-03-25 | 日本放送協会 | Quantization control device, method and program thereof, and adaptive quantization encoding device |
JP4451856B2 (en) * | 2006-05-09 | 2010-04-14 | 日本電信電話株式会社 | Video quality estimation apparatus, method, and program |
KR101377833B1 (en) * | 2006-08-30 | 2014-03-26 | 톰슨 라이센싱 | Method and apparatus for analytical and empirical hybrid encoding distortion modeling |
JP5221459B2 (en) * | 2009-07-01 | 2013-06-26 | 日本電信電話株式会社 | Video quality estimation apparatus, system, method and program |
FR2954036B1 (en) * | 2009-12-11 | 2012-01-13 | Thales Sa | METHOD AND SYSTEM FOR DETERMINING ENCODING PARAMETERS ON VARIABLE RESOLUTION FLOWS |
ES2511044T3 (en) * | 2010-07-30 | 2014-10-22 | Deutsche Telekom Ag | Evaluation of the quality of a video signal during encoding or compression of the video signal |
AU2012267007B2 (en) * | 2011-06-10 | 2016-03-17 | Mediatek Inc. | Method and apparatus of scalable video coding |
-
2014
- 2014-04-30 JP JP2014093549A patent/JP6145069B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015211424A (en) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108769681B (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium | |
CN108924553B (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium | |
KR102525577B1 (en) | Method and apparatus for streaming data | |
US11172220B2 (en) | Video encoding method, and storage medium thereof | |
US20220030256A1 (en) | Advanced video coding method, system, apparatus, and storage medium | |
Katsenou et al. | Content-gnostic bitrate ladder prediction for adaptive video streaming | |
CN110636312B (en) | Video encoding and decoding method and device and storage medium | |
JP6145069B2 (en) | Subjective image quality estimation device and subjective image quality estimation program | |
US10284857B2 (en) | Method and apparatus for evaluating video quality | |
CN108848377B (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium | |
CN114845106A (en) | Video coding method, video coding device, storage medium and electronic equipment | |
JP2023524000A (en) | Dynamic Parameter Selection for Quality Normalized Video Transcoding | |
Shahid et al. | A no-reference machine learning based video quality predictor | |
Takeuchi et al. | Perceptual quality driven adaptive video coding using JND estimation | |
CN106713901B (en) | A kind of method for evaluating video quality and device | |
Chen et al. | A subjective study for the design of multi-resolution ABR video streams with the VP9 codec | |
WO2021057479A1 (en) | Video coding method, video decoding method, and related devices | |
JP5756154B2 (en) | Video coding parameter calculation apparatus, video coding parameter calculation method, and program | |
US10390025B2 (en) | Method and apparatus for encoding and decoding video signal using improved prediction filter | |
JP2018107692A (en) | Moving image decoder, moving image decoding method, moving image encoder, moving image encoding method and computer readable recording medium | |
JP5990126B2 (en) | Subjective image quality estimation device, subjective image quality estimation method, and program | |
US20240146938A1 (en) | Method, apparatus and computer program product for end-to-end learned predictive coding of media frames | |
US20230186054A1 (en) | Task-dependent selection of decoder-side neural network | |
Zhou et al. | Content-adaptive parameters estimation for multi-dimensional rate control | |
JP6087779B2 (en) | Objective image quality evaluation apparatus, automatic monitoring apparatus, objective image quality evaluation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6145069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |