JP5234812B2 - Video quality estimation apparatus, method, and program - Google Patents
Video quality estimation apparatus, method, and program Download PDFInfo
- Publication number
- JP5234812B2 JP5234812B2 JP2009187668A JP2009187668A JP5234812B2 JP 5234812 B2 JP5234812 B2 JP 5234812B2 JP 2009187668 A JP2009187668 A JP 2009187668A JP 2009187668 A JP2009187668 A JP 2009187668A JP 5234812 B2 JP5234812 B2 JP 5234812B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- amount
- value
- video signal
- boundary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、映像品質推定技術に関し、特にIPネットワーク経由で行う映像通信に関する映像品質を推定する技術に関する。 The present invention relates to a video quality estimation technique, and more particularly to a technique for estimating video quality related to video communication performed via an IP network.
IPネットワークや端末機器の発展に伴い、IPTVサービス、映像配信サービス、TV電話サービスなど、映像メディアを用いた映像通信サービスが普及してきている。
映像メディアを用いた通信の場合、ネットワークの利用効率を向上させるため情報量圧縮(符号化)が行われる。符号化された映像メディアは、原映像、すなわち劣化のない映像信号と比較して、高周波成分の欠落やブロックノイズの増加などにより、ぼけ・にじみ・モザイク状の歪、ぎくしゃく感などといった現象を招く。このため、ユーザが知覚する品質、すなわちユーザ体感品質(QoE:Quality of Experience)は低下する。
このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス提供中の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。
With the development of IP networks and terminal devices, video communication services using video media, such as IPTV services, video distribution services, and TV phone services, have become widespread.
In the case of communication using video media, information amount compression (encoding) is performed in order to improve network utilization efficiency. Encoded video media causes phenomena such as blurring, blurring, mosaic distortion, and jerky feeling due to missing high-frequency components and increased block noise compared to the original video, that is, a video signal without deterioration. . For this reason, the quality perceived by the user, that is, the quality of experience (QoE) is lowered.
In order to provide such a video communication service with high quality, quality design prior to service provision and quality management during service provision are important. For this purpose, the quality enjoyed by the user can be expressed appropriately. A simple and efficient video quality evaluation technique is required.
従来、例えば非特許文献1では、映像品質に影響を与える、ビットレートやパケット損失率などの品質パラメータから映像品質を推定する映像品質評価法が提案されている。また、例えば非特許文献2,3では、原映像信号、すなわち劣化のない映像信号と、劣化映像信号、すなわち符号化劣化やパケット損失劣化を含む映像信号とを比較することで、映像品質を推定する映像品質評価法が提案されている。これらの客観評価技術は、ある一定条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。
Conventionally, for example, Non-Patent
しかしながら、前述した非特許文献1では、例えば動きの多い・少ないに基づく映像種別や、例えば圧縮効率の高いH.246エンコーダ、GoPなどの符号化パラメータに基づく端末の実装状況を仮定して、映像品質を推定しているため、映像品質のコンテンツ依存性やコーデック実装依存性を考慮することができない。
However, in the above-mentioned Non-Patent
図6は、映像品質のコンテンツ依存性を示す説明図である。図7は、映像品質のコーデック実装依存性を示す説明図である。
映像品質は、図6のように、同一ビットレート条件でも、映像コンテンツの違いにより映像品質が異なるという、コンテンツ依存性を有している。また、映像品質は、図7のように、同一ビットレート条件においても、コーデックの実装の違いにより映像品質が異なるという、実装依存性を有している。したがって、映像品質を精度よく推定するためには、コンテンツ依存性およびコーデック実装依存性を加味する必要がある。
FIG. 6 is an explanatory diagram showing content dependency of video quality. FIG. 7 is an explanatory diagram showing codec mounting dependency of video quality.
As shown in FIG. 6, the video quality has content dependency that the video quality differs depending on the video content even under the same bit rate condition. Further, as shown in FIG. 7, the video quality has an implementation dependency that the video quality varies depending on the implementation of the codec even under the same bit rate condition. Therefore, in order to accurately estimate the video quality, it is necessary to consider content dependency and codec implementation dependency.
このようなコンテンツ依存性およびコーデック実装依存性を加味した映像品質を推定するためには、映像受信端末2が受信する映像信号のみを用いることが有効である。しかしながら、前述した非特許文献2、3では、受信する映像信号の他に原映像信号を必要とすることから、ユーザが利用するSTBなどのエンド端末での映像品質を推定することは困難である。
In order to estimate the video quality in consideration of such content dependency and codec implementation dependency, it is effective to use only the video signal received by the
本発明はこのような課題を解決するためのものであり、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる映像品質推定技術を提供することを目的としている。 The present invention is for solving such problems, and an object of the present invention is to provide a video quality estimation technique capable of estimating video quality with high accuracy in consideration of content dependency and codec implementation dependency of video quality. It is said.
このような目的を達成するために、本発明にかかる映像品質推定装置は、IPネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、特徴量から映像品質を算出する映像品質算出部とを備えている。 In order to achieve such an object, the video quality estimation apparatus according to the present invention allows a user to experience a video obtained by decoding encoded video data received via an IP network with a video receiving terminal. A video quality estimation apparatus that estimates video quality to be extracted, a feature quantity extraction unit that extracts a feature quantity indicating a degree of deterioration of the video by encoding processing from a video signal acquired from a video receiving terminal, and a video from the feature quantity And a video quality calculation unit for calculating the quality.
この際、特徴量抽出部で、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部のうち、いずれか1つ以上またはすべてを含むようにしてもよい。 At this time, the feature amount extraction unit calculates a block noise amount indicating the amount of block noise generated due to the discrete cosine transform processing included in the video signal as a feature amount from the video signal. , A high-frequency component amount calculation unit that calculates a high-frequency component amount indicating the amount that a high-frequency component to be reduced due to discrete cosine transform processing is included in the video signal as a feature amount from the video signal, pixels that change between adjacent frames You may make it include any one or more or all the motion amount calculation parts which calculate the motion amount which shows the magnitude | size of a value change as a feature-value from a video signal.
また、ブロックノイズ量算出部で、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。 Further, in the block noise amount calculation unit, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block which is a processing unit of the discrete cosine transform processing, Calculate the ratio of the pixel value average value of the pixels included in the block boundary line area near the boundary line and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area, and calculate these ratios. A value averaged in each frame may be calculated as a block noise amount.
また、高周波成分量算出部で、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。 Further, the high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen. Alternatively, a value obtained by dividing the number of pixels in the frame screen excluding the screen end pixel may be calculated, and a value obtained by averaging these values in each frame may be calculated as the high-frequency component amount.
また、動き量算出部で、映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。 Further, in the motion amount calculation unit, for every two adjacent frames of the frames constituting the video signal, the standard deviation indicating the distribution of these difference values for the difference values of the pixel values at the same pixel position between the two frames. A value may be calculated, and a value obtained by averaging these standard deviation values in each frame may be calculated as a motion amount.
また、映像品質算出部で、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。 In addition, the video quality calculation unit may calculate the video quality by a linear sum of a feature amount and a value obtained by multiplying individual coefficients by a multiplication value of the feature amounts.
また、本発明にかかる映像品質推定方法は、IPネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、特徴量から映像品質を算出する映像品質算出ステップとを備えている。 Also, the video quality estimation method according to the present invention is a video quality estimation method for estimating a video quality experienced by a user with respect to a video obtained by decoding encoded video data received via an IP network at a video receiving terminal. An estimation method, a feature amount extracting step for extracting a feature amount indicating a degree of deterioration of the video by encoding processing on the video from a video signal acquired from a video receiving terminal, and a video for calculating video quality from the feature amount A quality calculation step.
この際、特徴量抽出ステップとして、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出ステップ、離散コサイン変換処理に起因して除去される高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出ステップ、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出ステップのうち、いずれか1つ以上またはすべてを含むようにしてもよい。 At this time, as a feature amount extraction step, a block noise amount calculation step of calculating a block noise amount indicating an amount of block noise generated due to the discrete cosine transform processing from the video signal as a feature amount. A high-frequency component amount calculating step for calculating a high-frequency component amount indicating the amount of the high-frequency component removed due to the discrete cosine transform processing from the video signal as a feature amount, and changes between adjacent frames Any one or more or all of the motion amount calculation steps for calculating the motion amount indicating the magnitude of the change in the pixel value as the feature amount from the video signal may be included.
また、ブロックノイズ量算出ステップで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。 Further, in the block noise amount calculation step, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block which is a processing unit of the discrete cosine transform processing, Calculate the ratio of the pixel value average value of the pixels included in the block boundary line area near the boundary line and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area, and calculate these ratios. A value averaged in each frame may be calculated as a block noise amount.
また、高周波成分量算出ステップで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。 Further, in the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen is calculated. Alternatively, a value obtained by dividing the number of pixels in the frame screen excluding the screen end pixel may be calculated, and a value obtained by averaging these values in each frame may be calculated as the high-frequency component amount.
また、動き量算出ステップで、映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。 Also, in the motion amount calculation step, for each two adjacent frames of the frames constituting the video signal, the standard deviation indicating the distribution of these difference values for the difference values of the pixel values at the same pixel position between the two frames. A value may be calculated, and a value obtained by averaging these standard deviation values in each frame may be calculated as a motion amount.
また、映像品質算出ステップで、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。 Further, in the video quality calculation step, the video quality may be calculated by a linear sum of a feature value and a value obtained by multiplying the multiplication value of the feature values by individual coefficients.
また、本発明にかかるプログラムは、コンピュータを、前述したいずれか1つの映像品質推定装置を構成する各部として機能させるためのものである。 Further, the program according to the present invention is for causing a computer to function as each unit constituting any one of the above-described video quality estimation apparatuses.
本発明によれば、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。 According to the present invention, video quality can be estimated with high accuracy in consideration of content dependency and codec mounting dependency of video quality. For this reason, it is possible to more accurately determine whether or not a video quality higher than a certain level can be provided to a user who uses the video communication service. This makes it possible to grasp and manage the quality of the service being provided.
次に、本発明の一実施の形態について図面を参照して説明する。
[映像品質推定装置]
まず、図1を参照して、本実施の形態にかかる映像品質推定装置について説明する。図1は、本実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
Next, an embodiment of the present invention will be described with reference to the drawings.
[Video quality estimation device]
First, a video quality estimation apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the video quality estimation apparatus according to this embodiment.
この映像品質推定装置10は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、映像通信サービスを利用して、IPネットワーク3を介して映像配信装置1から受信した符号化映像データを、映像受信端末2で復号して得られた映像について、当該映像を視聴したユーザが知覚する映像品質V、すなわちユーザ体感品質を、当該映像の映像信号Sに基づいて推定する機能を有している。
The video
[本発明の原理]
本発明は、映像受信端末2が受信再生した映像信号Sから符号化劣化に関する特徴量を抽出し、これら特徴量に基づき映像品質Vを算出することで、コンテンツ依存性およびコーデック実装依存性を加味した映像品質Vを推定する。具体的には、以下の3つの品質特性を捉えた特徴量、すなわちブロックノイズ量B、高周波成分量H、および動き量Tを、映像信号Sから抽出する。
[Principle of the present invention]
In the present invention, feature quantities relating to coding degradation are extracted from the video signal S received and reproduced by the
[ブロックノイズ量]
通常、映像符号化処理では、入力映像の画面を、例えば8x8画素からなる矩形のブロックに区分し、ブロックごとに離散コサイン変換(DCT:Discrete Cosine Transform)処理を適用して画素値の高周波成分を削減しているため、ブロックの境界線の画素値(輝度値、色差値)に原映像には存在しない不自然なエッジが生じる。このエッジをブロックノイズという。このため、このようなブロックノイズ量が増加すると、ブロック境界線が顕著になり映像品質が低下する。本発明では、このブロックノイズの量を捉えた特徴量をブロックノイズ量Bと定義する。
[Block noise amount]
Usually, in the video encoding process, the input video screen is divided into rectangular blocks of, for example, 8 × 8 pixels, and a discrete cosine transform (DCT) process is applied to each block to generate high-frequency components of pixel values. Due to the reduction, an unnatural edge that does not exist in the original image occurs in the pixel value (luminance value, color difference value) of the block boundary line. This edge is called block noise. For this reason, when the amount of block noise increases, block boundary lines become conspicuous and video quality deteriorates. In the present invention, a feature amount that captures the amount of block noise is defined as a block noise amount B.
劣化した映像信号にエッジ抽出フィルタを適用すると、ブロックノイズの発生したブロックの境界からエッジが抽出される。また、符号化された映像は、ブロック境界以外では高周波成分の情報が削減されるため、エッジの量が減少する。
したがって、ブロックノイズ量Bを抽出するためには、ブロック境界線付近の領域、すなわちブロック境界領域と、それ以外の領域、すなわち非ブロック境界領域とのエッジ量の平均値の比を算出することが有効である。本発明では、ブロック境界領域と非ブロック境界領域とのエッジ量の比をフレームごとに算出し、これらエッジ量の比をフレーム数で平均した値をブロックノイズ量Bとする。
When an edge extraction filter is applied to a deteriorated video signal, an edge is extracted from the boundary of the block where block noise occurs. In addition, since the information of the high frequency component is reduced in the encoded video other than the block boundary, the amount of edges is reduced.
Therefore, in order to extract the block noise amount B, the ratio of the average value of the edge amounts of the area near the block boundary line, that is, the block boundary area, and the other area, that is, the non-block boundary area can be calculated. It is valid. In the present invention, the ratio of the edge amount between the block boundary region and the non-block boundary region is calculated for each frame, and the value obtained by averaging these edge amount ratios by the number of frames is defined as the block noise amount B.
[高周波成分量]
前述したように、映像符号化処理で用いる離散コサイン変換処理により、映像の画素値の高周波成分が低下する。これにより、画面全体が平坦になり、ぼけとして知覚され映像品質が低下する。本発明では、このような高周波成分を捉えた特徴量を高周波成分量Hと定義する。
[High-frequency component amount]
As described above, the high-frequency component of the pixel value of the video is reduced by the discrete cosine transform process used in the video encoding process. As a result, the entire screen becomes flat and is perceived as blurring, and the video quality is degraded. In the present invention, a feature amount capturing such a high-frequency component is defined as a high-frequency component amount H.
図2は、画素位置と輝度値の関係を示す説明図である。水平方向または垂直方向において輝度値の勾配が正から負もしくは負から正に変わる画素、すなわち図2の極値画素の出現頻度は、輝度値の振動回数を意味し、映像の高周波成分の量を表している。本発明では、水平方向または垂直方向の極値画素が画面全体を占める割合を平均した値をフレームごとに算出し、これら極値画素の平均占有率をフレーム数で平均した値を高周波成分量Hとする。 FIG. 2 is an explanatory diagram showing the relationship between the pixel position and the luminance value. The appearance frequency of the pixel whose luminance value gradient changes from positive to negative or from negative to positive in the horizontal direction or the vertical direction, that is, the extreme value pixel in FIG. Represents. In the present invention, a value obtained by averaging the proportion of the extreme pixels in the horizontal direction or the vertical direction occupying the entire screen is calculated for each frame, and a value obtained by averaging the average occupation ratio of these extreme pixels by the number of frames is calculated. And
[動き量]
隣接フレーム間で動きの量が多い映像は、ブロックノイズや高周波成分の減少(ぼけ)などの劣化が知覚され難い。このため、同じ劣化量でも、動きの量が多くなるに従い、それらの劣化が知覚され難くなり、映像品質が高くなる。本発明では、この動きの量を捉えた特徴量を動き量Tと定義する。
動きの量が多い映像は、隣接フレーム間での画素値の変化が大きくなる。本発明では、隣接フレーム間ごとに、両フレーム間の画素値の差分値について標準偏差値を算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Tとする。
[Movement amount]
In a video with a large amount of motion between adjacent frames, it is difficult to perceive deterioration such as block noise or reduction (blur) of high frequency components. For this reason, even with the same amount of deterioration, as the amount of motion increases, the deterioration becomes difficult to perceive, and the video quality increases. In the present invention, a feature amount that captures the amount of motion is defined as a motion amount T.
An image with a large amount of motion has a large change in pixel value between adjacent frames. In the present invention, for each adjacent frame, a standard deviation value is calculated for a difference value of pixel values between both frames, and a value obtained by averaging these standard deviation values by the number of adjacent frames is set as a motion amount T.
[本実施の形態の構成]
次に、図1を参照して、本実施の形態にかかる映像品質推定装置10の構成について詳細に説明する。
この映像品質推定装置10は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、主な機能部として、映像信号取得部11、特徴量抽出部12、および映像品質算出部13が設けられている。
[Configuration of the embodiment]
Next, the configuration of the video
The video
映像信号取得部11は、専用の映像インターフェース回路からなり、映像受信端末2が映像配信装置1から受信して復号し、LCDやPDPなどのディスプレイ装置へ出力する映像信号Sを取得する機能を有している。
The video
特徴量抽出部12は、映像信号取得部11で取得した映像信号Sから、元の映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する機能を有している。
この特徴量抽出部12には、主な処理部として、ブロックノイズ量算出部12A、高周波成分量算出部12B、および動き量算出部12Cが設けられている。
The feature
The feature
ブロックノイズ量算出部12Aは、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出する機能を有している。具体的には、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出する。 The block noise amount calculation unit 12A has a function of calculating a block noise amount indicating an amount of block noise generated due to discrete cosine transform processing included in the video signal as a feature amount from the video signal. . Specifically, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block that is a processing unit of the discrete cosine transform processing, Calculate the ratio between the pixel value average value of the pixels included in the block boundary area and the pixel value average value of pixels included in the non-block boundary area other than the block boundary area, and average these ratios in each frame. The calculated value is calculated as a block noise amount.
高周波成分量算出部12Bは、離散コサイン変換処理に起因して低減してしまう高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出する。
The high-frequency component
動き量算出部12Cは、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出する。
The motion
映像品質算出部13は、特徴量抽出部12で抽出した、元の映像に対する符号化処理による映像品質劣化に関する特徴量、具体的にはブロックノイズ量B、高周波成分量H、および動き量Tに基づいて、復号した映像を視聴したユーザが知覚する映像品質V、すなわちユーザ体感品質を算出する機能を有している。具体的には、これら特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出する。
The video
映像品質推定装置10における機能部のうち、特徴量抽出部12および映像品質算出部13については、演算処理部により実現してもよい。演算処理部は、CPUなどのマイクロコンピュータとその周辺回路を有し、記憶部からプログラムを読み込んで実行することにより、各種機能部を実現する。
Of the functional units in the video
なお、映像品質推定装置10には、一般的なサーバ装置やパーソナルコンピュータなどの情報処理装置と同様に、演算処理部や記憶部のほか、LCDなどのディスプレイ装置、キーボードやマウスなどの操作入力装置、通信インターフェース、データ入出力インターフェースなどの各種機能部が設けられているものとする。
The video
[本実施の形態の動作]
次に、図3を参照して、本実施の形態にかかる映像品質推定装置10の動作について説明する。図3は、本実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置10は、オペレータからの指示操作や外部装置(図示せず)からの指示に応じて、図3の映像品質推定処理を開始する。
[Operation of this embodiment]
Next, the operation of the video
The video
まず、映像品質推定装置10は、映像信号取得部11により、映像受信端末2から映像信号Sを取得する(ステップ100)。この映像信号S内には、輝度信号や色差信号を表す画素値が含まれている。
First, the video
次に、映像品質推定装置10は、特徴量抽出部12により、映像信号取得部11で取得した映像信号Sの画素値に基づいて、元の映像に対する符号化処理による映像信号Sの映像品質劣化の度合いを示す特徴量を抽出する。この際、特徴量抽出部12は、ブロックノイズ量算出部12Aにより映像信号Sの画素値からブロックノイズ量Bを算出し(ステップ101)、高周波成分量算出部12Bにより映像信号Sの画素値から高周波成分量Hを算出し(ステップ102)、動き量算出部12Cにより映像信号Sの画素値から動き量Tを算出する(ステップ103)。
Next, the video
この後、映像品質推定装置10は、映像品質算出部13により、特徴量抽出部12で算出されたブロックノイズ量B、高周波成分量H、および動き量Tから映像品質Vを算出し(ステップ104)、一連の映像品質推定処理を終了する。
Thereafter, the video
[ブロックノイズ量算出処理]
次に、ブロックノイズ量算出部12Aにおけるブロックノイズ量算出処理について詳細に説明する。
ブロックノイズ量算出部12Aは、まず、映像信号取得部11で取得した映像信号Sに、エッジ抽出フィルタ処理を適用し、エッジ映像信号を生成する。エッジ抽出フィルタ処理の具体例としては、例えば、公知のCanny Edge Detector(非特許文献4など参照)を使用すればよい。このエッジ抽出フィルタとしては、Sobelフィルタやラプラスフィルタを適用することができるが、Canny Edge Detectorを利用すれば、今回対象とするブロックノイズによって生じるブロック間の境界線についてはより精度良く抽出できる。
[Block noise amount calculation processing]
Next, the block noise amount calculation processing in the block noise amount calculation unit 12A will be described in detail.
The block noise amount calculation unit 12A first applies edge extraction filter processing to the video signal S acquired by the video
この後、ブロックノイズ量算出部12Aは、生成されたエッジ映像信号からブロックノイズ量Bを算出する。まず、ブロック境界領域と非ブロック境界領域を定義する。ブロック境界領域は、離散コサイン変換の適用単位であるブロックの境界付近に位置する画素である。図4は、ブロック境界領域とブロック境界線との関係を示す説明図である。
本実施例では、図4のように、(1)ブロック境界線が画素境界に位置する場合は、ブロック境界線に隣接するすべての画素をブロック境界線領域と設定し、(2)ブロック境界線が画素内に位置する場合は、ブロック境界線を含むすべての画素およびそれらの画素に隣接するすべての画素をブロック境界線領域と設定する。
Thereafter, the block noise amount calculation unit 12A calculates the block noise amount B from the generated edge video signal. First, a block boundary area and a non-block boundary area are defined. The block boundary region is a pixel located in the vicinity of a block boundary that is an application unit of discrete cosine transform. FIG. 4 is an explanatory diagram showing the relationship between the block boundary area and the block boundary line.
In this embodiment, as shown in FIG. 4, when (1) the block boundary line is located at the pixel boundary, all the pixels adjacent to the block boundary line are set as the block boundary area, and (2) the block boundary line Is located within the pixel, all the pixels including the block boundary line and all the pixels adjacent to these pixels are set as the block boundary line region.
なお、ブロック境界線位置は、映像復号に用いるコーデックの種別により異なる。また、解像度の変換等の画像処理により、コーデックで定義されているブロック境界位置と一致しないことがある。例えば、解像度1440×1080の符号化映像を、解像度1920×1080のディスプレイ装置で出力する場合、8×8のブロックサイズは10.66×8のブロックサイズとなる。ブロック境界位置についてはシステムに基づいて予め設定しておくか、推定する必要があり、本実施例では、ブロック境界位置が既知である例を示す。これに対し、非ブロック境界領域は、ブロック境界領域以外のすべての画素を示す。 The block boundary line position varies depending on the type of codec used for video decoding. Also, image processing such as resolution conversion may not match the block boundary position defined by the codec. For example, when an encoded video having a resolution of 1440 × 1080 is output on a display device having a resolution of 1920 × 1080, the block size of 8 × 8 becomes a block size of 10.66 × 8. The block boundary position needs to be set in advance or estimated based on the system, and this embodiment shows an example in which the block boundary position is known. On the other hand, the non-block boundary region indicates all pixels other than the block boundary region.
続いて、ブロックノイズ量算出部12Aは、次の式(1)に基づいて、フレームごとに、エッジ映像信号のブロック境界線領域内に位置する画素値の合計を、ブロック境界線領域内の画素数N1で平均することにより、画素値平均値B1(n)を算出する。ここで、En(i,j)はエッジ映像信号のnフレーム目の画素位置(i,j)の画素値を示し、A1は、ブロック境界線領域内に位置するすべての画素位置の集合である。なお、本実施例では画素値として輝度値を用いた場合を例に説明する。
また、ブロックノイズ量算出部12Aは、次の式(2)に基づいて、フレームごとに、エッジ映像信号の非ブロック境界線領域内に位置する画素値の合計を、非ブロック境界線領域内の画素数N2で平均することにより、画素値平均値B2(n)を算出する。ここで、A2は、非ブロック境界線領域内に位置するすべての画素位置の集合である。
ここで、B1(n)は、ブロック境界領域内の映像の境界線およびブロックノイズによって生じたブロック間の境界線の量を表している。しかし、符号化劣化により、映像の境界線の量が減ってしまうため、画素値平均値B1(n)だけでは、ブロックノイズの増加が捉え切れない。そのため、本実施の形態では、非ブロック境界領域内の映像の境界線の量である画素値平均値B2(n)を用いて正規化することにより、ブロックノイズ量を算出している。これにより、符号化によるエッジ量の低下を考慮したブロックノイズ量を精度よく算出できる。
したがって、ブロックノイズ量算出部12Aは、次の式(3)に示すように、画素値平均値B1(n)と画素値平均値B2(n)の比を全フレーム数Nで平均した値をブロックノイズ量Bとして算出する。
Therefore, the block noise amount calculation unit 12A averages the ratio of the pixel value average value B 1 (n) and the pixel value average value B 2 (n) over the total number N of frames as shown in the following equation (3). The value is calculated as the block noise amount B.
[高周波成分量算出処理]
次に、高周波成分量算出部12Bにおける高周波成分量算出処理について詳細に説明する。
高周波成分量算出部12Bは、映像信号取得部11で取得した映像信号Sから、高周波成分量Hを算出する。高周波成分量Hの算出方法については公知の手法を用いればよい(例えば、非特許文献5など参照)。
[High-frequency component amount calculation processing]
Next, the high frequency component amount calculation processing in the high frequency component
The high frequency component
まず、高周波成分量算出部12Bは、次の式(4)に基づいて、画面端を除く画素に関するIhorizontal(i,j,n)およびIvertical(i,j,n)を、フレームごとに算出する。ここで、Fn(i,j)は映像信号のnフレーム目の画素位置(i,j)の画素値を示す。
続いて、高周波成分量算出部12Bは、次の式(5)に基づいて、これらIhorizontal(i,j,n)およびIvertical(i,j,n)の平均値について、画面端を除いた画素数で平均した値Hframeを算出する。ここで、Wは水平方向の画素数、Hは垂直方向の画素数を示す。
この後、高周波成分量算出部12Bは、次の式(6)に基づいて、Hframe(n)を全フレーム数Nで平均した値を高周波成分量Hとして算出する。
[動き量算出処理]
次に、動き量算出部12Cにおける動き量算出処理について詳細に説明する。
動き量算出部12Cは、映像信号取得部11で取得した映像信号Sから、動き量Tを算出する。動き量Tの算出方法については公知の手法を用いればよい(例えば、非特許文献6など参照)。
[Motion calculation processing]
Next, the motion amount calculation processing in the motion
The motion
まず、動き量算出部12Cは、隣接するフレーム間の同じ画素位置の画素値の差分値M(i,j,n)を、次の式(7)に基づき算出する。ここでFn(i,j)は映像信号のnフレーム目の画素位置(i,j)の画素値を示す。
この後、動き量算出部12Cは、次の式(8)に基づいて、画面全体のM(i,j,n)の標準偏差をフレームごとに算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Tとして算出する。ここで、stdspaceは画面内の画素値の標準偏差を示す。
[映像品質算出処理]
次に、映像品質算出部13における映像品質算出処理について詳細に説明する。
映像品質算出部13は、次の式(9)に基づいて、特徴量抽出部12で抽出したブロックノイズ量B、高周波成分量H、および動き量Tから、映像品質Vを算出する。
Next, the video quality calculation process in the video
The video
式(9)において、映像品質Vは、ブロックノイズ量B、高周波成分量H、および動き量Tおよびこれら特徴量同士の乗算値に対して、個別の係数をそれぞれ乗算した値の線形和で算出される。ただし、v1,v2,v3,v4,v5,v6,v7はコーデック種別、サービス種別、映像解像度などにより決まる品質特性係数である。図5は、品質特性係数テーブルの例である。このように、コーデック種別(H.264、MPEG−2など)、サービス種別(IPTV、テレビ電話など)、映像解像度(1080i、480iなど)の組み合わせごとに、予め品質特性係数を算出し、テーブルとして保持しておけばよい。 In equation (9), the video quality V is calculated as a linear sum of values obtained by multiplying the block noise amount B, the high frequency component amount H, the motion amount T, and the multiplication values of these feature amounts by individual coefficients. Is done. However, v 1 , v 2 , v 3 , v 4 , v 5 , v 6 , v 7 are quality characteristic coefficients determined by the codec type, service type, video resolution, and the like. FIG. 5 is an example of a quality characteristic coefficient table. In this way, quality characteristic coefficients are calculated in advance for each combination of codec type (H.264, MPEG-2, etc.), service type (IPTV, videophone, etc.), and video resolution (1080i, 480i, etc.) as a table. Just hold it.
[本実施の形態の効果]
このように、本実施の形態は、特徴量抽出部12により、映像受信端末2から取得した映像信号Sから、元の映像に対する符号化処理による当該映像の劣化度合いを示す、ブロックノイズ量B、高周波成分量H、および動き量Tなどの特徴量を抽出し、映像品質算出部13により、これら特徴量から映像品質Vを算出するようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。
このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。
[Effects of the present embodiment]
As described above, according to the present embodiment, the block noise amount B, which indicates the degree of deterioration of the video due to the encoding process on the original video, from the video signal S acquired from the
For this reason, it is possible to more accurately determine whether or not a video quality higher than a certain level can be provided to a user who uses the video communication service. This makes it possible to grasp and manage the quality of the service being provided.
また、本実施の形態では、特徴量抽出部12において、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部12A、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部12B、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部12Cのうち、いずれか1つ以上またはすべてを含むようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を示す特徴量を映像信号から抽出することができる。
In the present embodiment, the feature
また、本実施の形態では、ブロックノイズ量算出部12Aで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して発生するブロックノイズが、受信映像端末2で復号した映像信号に含まれている量を精度よく算出することができる。
Further, in the present embodiment, the block noise amount calculation unit 12A performs pixel cosine transform processing unit of discrete cosine transform processing for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal. Based on the boundary line, the ratio of the pixel value average value of the pixels included in the block boundary line area adjacent to the boundary line and the pixel value average value of pixels included in the non-block boundary line area other than the block boundary line area And the average of these ratios in each frame is calculated as the block noise amount, so that the block noise generated due to the discrete cosine transform processing when encoding the original video is received video. The amount included in the video signal decoded by the
また、本実施の形態では、高周波成分量算出部12Bで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して低減してしまう高周波成分が、受信映像端末2で復号した映像信号に含まれている量を精度よく算出することができる。
In the present embodiment, the high-frequency component
また、本実施の形態では、動き量算出部12Cで、映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしたので、受信映像端末2で復号した映像信号のうち、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を精度よく算出することができる。
Further, in the present embodiment, the
また、本実施の形態では、映像品質算出部13により、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしたので、複数の特徴量から精度の高い映像品質を算出することができる。
In the present embodiment, the video
[実施の形態の拡張]
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
[Extended embodiment]
The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
10…映像品質推定装置、11…映像信号取得部、12…特徴量抽出部、12A…ブロックノイズ量算出部、12B…高周波成分量算出部、12C…動き量算出部、13…映像品質算出部、1…映像配信装置、2…映像受信装置、3…IPネットワーク。
DESCRIPTION OF
Claims (7)
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出部と、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出部とを含み、
前記ブロックノイズ量算出部は、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出し、
前記高周波成分量算出部は、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit that calculates video quality from the feature amount ,
The feature amount extraction unit calculates a block noise amount that indicates an amount of block noise generated due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. And a high-frequency component amount calculation unit that calculates a high-frequency component amount indicating the amount of high-frequency components to be reduced due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. ,
The block noise amount calculation unit, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block that is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount As
The high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen. , Calculate the value divided by the number of pixels of the frame screen excluding the screen edge pixel, and calculate the value obtained by averaging these values in each frame as the high frequency component amount,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients .
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出部と、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出部とを含み、
前記ブロックノイズ量算出部は、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出し、
前記動き量算出部は、前記映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit for calculating video quality from the feature amount;
With
The feature amount extraction unit calculates a block noise amount that indicates an amount of block noise generated due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. A motion amount calculation unit that calculates a motion amount indicating a magnitude of a change in a pixel value that changes between adjacent frames as the feature amount from the video signal,
The block noise amount calculation unit, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block that is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount. As
The motion amount calculation unit, for every two adjacent frames among the frames constituting the video signal, for a difference value of pixel values at the same pixel position between the two frames, a standard deviation indicating a distribution of these difference values Value is calculated, and a value obtained by averaging these standard deviation values in each frame is calculated as the amount of movement,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients .
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出部と、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出部とを含み、
前記高周波成分量算出部は、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出し、
前記動き量算出部は、前記映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit for calculating video quality from the feature amount;
With
The feature amount extraction unit calculates a high frequency component amount indicating an amount of a high frequency component to be reduced due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. A motion amount calculation unit that calculates a motion amount indicating a magnitude of a change in a pixel value that changes between adjacent frames as the feature amount from the video signal,
The high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen. , Calculate the value divided by the number of pixels of the frame screen excluding the screen edge pixel, and calculate the value obtained by averaging these values in each frame as the high frequency component amount,
The motion amount calculation unit, for every two adjacent frames among the frames constituting the video signal, for a difference value of pixel values at the same pixel position between the two frames, a standard deviation indicating a distribution of these difference values Value is calculated, and a value obtained by averaging these standard deviation values in each frame is calculated as the amount of movement,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients .
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、
前記特徴量から映像品質を算出する映像品質算出ステップと
を備え、
前記特徴量抽出ステップは、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出ステップと、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出ステップとを含み、
前記ブロックノイズ量算出ステップは、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出するステップを含み、
前記高周波成分量算出ステップは、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するステップを含み、
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含む
ことを特徴とする映像品質推定方法。 A video quality estimation method for estimating video quality experienced by a user with respect to video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
A video quality calculation step of calculating video quality from the feature amount ,
The feature amount extraction step calculates a block noise amount that calculates, as the feature amount, a block noise amount indicating an amount that block noise generated due to discrete cosine transform processing is included in the video signal. And a high-frequency component amount calculating step for calculating, as the feature amount, the high-frequency component amount indicating the amount that the high-frequency component to be reduced due to the discrete cosine transform processing is included in the video signal. ,
In the block noise amount calculating step, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block which is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount Including the step of calculating as
In the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen is calculated. Calculating a value obtained by dividing the number of pixels of the frame screen excluding the screen end pixel, and calculating a value obtained by averaging these values in each frame as a high-frequency component amount,
The video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients, respectively. Estimation method.
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
前記特徴量から映像品質を算出する映像品質算出ステップとA video quality calculation step of calculating video quality from the feature amount;
を備え、With
前記特徴量抽出ステップは、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出ステップと、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出ステップとを含み、The feature amount extraction step calculates a block noise amount that calculates, as the feature amount, a block noise amount indicating an amount that block noise generated due to discrete cosine transform processing is included in the video signal. And a motion amount calculation step of calculating a motion amount indicating a magnitude of a change in pixel value that changes between adjacent frames as the feature amount from the video signal,
前記ブロックノイズ量算出ステップは、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出するステップを含み、In the block noise amount calculating step, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block which is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount. Including the step of calculating as
前記動き量算出ステップは、前記映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出するステップを含み、The motion amount calculating step includes, for each two adjacent frames of the frames constituting the video signal, a standard deviation indicating a distribution of the difference values for the difference values of the pixel values at the same pixel position between the two frames. Calculating a value, and calculating a value obtained by averaging these standard deviation values in each frame as the amount of movement,
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含むThe video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients.
ことを特徴とする映像品質推定方法。A video quality estimation method characterized by the above.
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
前記特徴量から映像品質を算出する映像品質算出ステップとA video quality calculation step of calculating video quality from the feature amount;
を備え、With
前記特徴量抽出ステップは、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出ステップと、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出ステップを含み、The feature amount extraction step calculates a high frequency component amount that indicates an amount of a high frequency component that is reduced due to a discrete cosine transform process and is included in the video signal as the feature amount from the video signal. And a motion amount calculating step of calculating a motion amount indicating a magnitude of a change in a pixel value changing between adjacent frames as the feature amount from the video signal,
前記高周波成分量算出ステップは、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するステップを含み、In the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen is calculated. Calculating a value obtained by dividing the number of pixels of the frame screen excluding the screen end pixel, and calculating a value obtained by averaging these values in each frame as a high-frequency component amount,
前記動き量算出ステップは、前記映像信号を構成するフレームのうち隣接する2つのフレームごとに、当該2つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出するステップを含み、The motion amount calculating step includes, for each two adjacent frames of the frames constituting the video signal, a standard deviation indicating a distribution of the difference values for the difference values of the pixel values at the same pixel position between the two frames. Calculating a value, and calculating a value obtained by averaging these standard deviation values in each frame as the amount of movement,
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含むThe video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients.
ことを特徴とする映像品質推定方法。A video quality estimation method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009187668A JP5234812B2 (en) | 2009-08-13 | 2009-08-13 | Video quality estimation apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009187668A JP5234812B2 (en) | 2009-08-13 | 2009-08-13 | Video quality estimation apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011041077A JP2011041077A (en) | 2011-02-24 |
JP5234812B2 true JP5234812B2 (en) | 2013-07-10 |
Family
ID=43768377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009187668A Expired - Fee Related JP5234812B2 (en) | 2009-08-13 | 2009-08-13 | Video quality estimation apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5234812B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5982240B2 (en) * | 2012-09-24 | 2016-08-31 | Kddi株式会社 | Objective video quality evaluation system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1565875A1 (en) * | 2002-11-25 | 2005-08-24 | Sarnoff Corporation | Method and apparatus for measuring quality of compressed video sequences without references |
JP4133788B2 (en) * | 2003-12-17 | 2008-08-13 | 日本放送協会 | Coding error estimation method and coding error estimation apparatus |
JP5044886B2 (en) * | 2004-10-15 | 2012-10-10 | パナソニック株式会社 | Block noise reduction device and image display device |
JP4755012B2 (en) * | 2005-06-29 | 2011-08-24 | 株式会社エヌ・ティ・ティ・ドコモ | Video evaluation device, spatio-temporal frequency analysis device, video evaluation method, spatio-temporal frequency analysis method, video evaluation program, and spatio-temporal frequency analysis program |
JP2007251881A (en) * | 2006-03-20 | 2007-09-27 | Funai Electric Co Ltd | Block noise eliminating apparatus, and electronic appliance |
JP5142316B2 (en) * | 2007-07-19 | 2013-02-13 | 日本電信電話株式会社 | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM |
JP4796019B2 (en) * | 2007-08-08 | 2011-10-19 | 日本電信電話株式会社 | Video quality estimation apparatus, method, and program |
WO2009025027A1 (en) * | 2007-08-20 | 2009-02-26 | Fujitsu Limited | Video quality monitoring method, distribution server, and client |
-
2009
- 2009-08-13 JP JP2009187668A patent/JP5234812B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011041077A (en) | 2011-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Engelke et al. | Perceptual-based quality metrics for image and video services: A survey | |
US8948253B2 (en) | Networked image/video processing system | |
JP4796019B2 (en) | Video quality estimation apparatus, method, and program | |
Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
Gu et al. | Screen image quality assessment incorporating structural degradation measurement | |
JP2011182423A (en) | Method for measuring multimedia video communication quality | |
Kawano et al. | No reference video-quality-assessment model for video streaming services | |
Gunawan et al. | Efficient reduced-reference video quality meter | |
Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
JP5221459B2 (en) | Video quality estimation apparatus, system, method and program | |
Konuk et al. | A spatiotemporal no-reference video quality assessment model | |
JP4861371B2 (en) | Video quality estimation apparatus, method, and program | |
Forchhammer et al. | No-reference analysis of decoded MPEG images for PSNR estimation and post-processing | |
JP2010124104A (en) | Device for evaluating objective image quality of video image | |
JP2007525902A (en) | System and method for global indication of MPEG damage in compressed digital video | |
WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
JP5350300B2 (en) | Transcode video quality objective evaluation apparatus, method and program | |
JP5234812B2 (en) | Video quality estimation apparatus, method, and program | |
Ma et al. | Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation | |
Boujut et al. | Weighted-MSE based on Saliency map for assessing video quality of H. 264 video streams | |
US20120133836A1 (en) | Frame level quantization estimation | |
Aggarwal | A review on video quality assessment | |
JP5292343B2 (en) | Image quality objective evaluation apparatus, method and program | |
Akramullah et al. | Video quality metrics | |
JP5523357B2 (en) | Video quality estimation apparatus, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5234812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |