WO2009116666A1 - 映像品質客観評価方法、映像品質客観評価装置、およびプログラム - Google Patents

映像品質客観評価方法、映像品質客観評価装置、およびプログラム Download PDF

Info

Publication number
WO2009116666A1
WO2009116666A1 PCT/JP2009/055679 JP2009055679W WO2009116666A1 WO 2009116666 A1 WO2009116666 A1 WO 2009116666A1 JP 2009055679 W JP2009055679 W JP 2009055679W WO 2009116666 A1 WO2009116666 A1 WO 2009116666A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit
slice
video
information
frame
Prior art date
Application number
PCT/JP2009/055679
Other languages
English (en)
French (fr)
Inventor
敬志郎 渡辺
岡本 淳
和久 山岸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to BRPI0909331A priority Critical patent/BRPI0909331A2/pt
Priority to CN2009801092135A priority patent/CN101978700A/zh
Priority to US12/922,846 priority patent/US20110013694A1/en
Priority to KR20107020736A priority patent/KR101188833B1/ko
Priority to EP09722268A priority patent/EP2252073A4/en
Publication of WO2009116666A1 publication Critical patent/WO2009116666A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Definitions

  • the present invention provides a method for objectively deriving subjective quality from encoded bit string information without performing a subjective quality evaluation experiment when estimating the quality (subjective quality) experienced by humans when viewing a video.
  • the present invention relates to a video quality objective evaluation method, a video quality objective evaluation apparatus, and a program for video quality degradation caused by computerization.
  • the conventional technology aims to build a technology that objectively evaluates the video quality while reducing the amount of calculation with high accuracy.
  • the technique described in Document 1 estimates subjective quality assuming an average scene, it cannot take into account fluctuations in subjective quality due to differences in scenes, and achieves subjective quality estimation with good accuracy. There was a problem that it was not possible.
  • the present invention receives a bit sequence of a video encoded using motion compensated inter-frame prediction and DCT transform, and inputs information included in the received bit sequence to input a predetermined bit sequence. And a subjective quality estimation step for performing a calculation for estimating the subjective quality of the video based on the calculation result of the calculation step.
  • the present invention is a coding method using motion compensation inter-frame prediction and DCT transform, which are currently mainstream, and particularly H.264.
  • the video quality can be estimated with a small amount of calculation, and the motion vector and the content of the DCT coefficient, which are parameters that can take into account the difference in scenes existing in the bit stream, By using the data amount for the estimation of the subjective quality, it becomes possible to estimate the subjective quality of the video with high accuracy.
  • the calculation step extracts the quantization information included in the bit string, calculates the statistic of the quantization information (for example, the minimum value of the quantization parameter of the H.264 method),
  • the quality estimation step performs an operation for estimating the subjective quality of the video based on the statistic of the quantization information (for example, the minimum value of the quantization parameter of the H.264 method).
  • the calculation step extracts motion vector information included in the bit string, calculates a motion vector statistic (for example, kurtosis of the magnitude of the vector) from the extracted motion vector information, and a subjective quality estimation step. Estimates the subjective quality of the video based on the statistics of quantization information (for example, the minimum value of the quantization parameter of the H.264 method) and the statistics of motion vectors (for example, the kurtosis of the vector size). Perform the operation.
  • a motion vector statistic for example, kurtosis of the magnitude of the vector
  • the calculation step extracts information on the I slice, P slice, and B slice included in the bit string, and statistics on the I slice, P slice, and B slice based on the extracted information on the I slice, P slice, and B slice.
  • the information is calculated, and the subjective quality estimation step is performed based on the statistical amount of quantization information (for example, the minimum value of the quantization parameter of the H.264 method) and the statistical information of the I slice, P slice, and B slice. Performs operations to estimate quality.
  • the calculation step information used for predictive coding, information used for transform coding, and information used for control of coding included in the bit string is extracted, and prediction coding is performed from the extracted information. It is also possible to calculate the bit amount used for the bit rate, the bit amount used for transform coding, and the bit amount used for coding control.
  • the subjective quality estimation step indicates the subjective result of the video based on the bit amount used for predictive coding, the bit amount used for transform coding, and the bit amount used for coding control, which shows the calculation result of the calculation step. Performs operations to estimate quality.
  • the calculation step extracts motion vector information included in the bit string, calculates a motion vector statistic (for example, kurtosis of the vector magnitude) from the extracted motion vector information, and performs subjective quality estimation.
  • the step is based on the amount of bits used for predictive coding, the amount of bits used for transform coding, the amount of bits used for control of coding and the statistics of motion vectors (eg kurtosis of vector magnitude). Performs computation to estimate the subjective quality of the video.
  • the calculation step extracts information on the I slice, P slice, and B slice included in the bit string, and statistics on the I slice, P slice, and B slice based on the extracted information on the I slice, P slice, and B slice.
  • the subjective quality estimation step calculates the bit amount used for predictive coding, the bit amount used for transform coding, the bit amount used for control of coding, and statistical information of I slice, P slice, and B slice. Based on the above, a calculation for estimating the subjective quality of the video is performed.
  • an encoding method using DCT transform and motion compensation particularly H.264.
  • DCT transform and motion compensation particularly H.264.
  • FIG. 1 is a diagram for explaining a method for deriving the minimum value of the quantization parameter in the selected frame.
  • FIG. 2 is a diagram illustrating the position of a motion vector derivation target frame.
  • FIG. 3 is a diagram illustrating a positional relationship between a motion vector derivation target frame and a reference frame.
  • FIG. 4 is a diagram illustrating a positional relationship between a motion vector derivation target frame and a reference frame.
  • FIG. 5 is a block diagram showing the configuration of the video quality objective evaluation apparatus.
  • FIG. 6 is a functional block diagram showing the configuration of the first embodiment of the present invention.
  • FIG. 7 is a functional block diagram showing the configuration of the second embodiment of the present invention.
  • FIG. 6 is a functional block diagram showing the configuration of the first embodiment of the present invention.
  • FIG. 8 is a functional block diagram showing the configuration of the third embodiment of the present invention.
  • FIG. 9 is a functional block diagram showing the configuration of the fourth embodiment of the present invention.
  • FIG. 10 is a functional block diagram showing the configuration of the fifth embodiment of the present invention.
  • FIG. 11 is a functional block diagram showing the configuration of the sixth embodiment of the present invention.
  • FIG. 12 is a functional block diagram showing the configuration of the seventh embodiment of the present invention.
  • FIG. 13 is a functional block diagram showing the configuration of the eighth embodiment of the present invention.
  • FIG. 14 is a functional block diagram showing the configuration of the ninth embodiment of the present invention.
  • FIG. 15 is a flowchart showing the processing operation of the first embodiment of the present invention.
  • FIG. 16 is a flowchart showing the processing operation of the second embodiment of the present invention.
  • FIG. 15 is a flowchart showing the processing operation of the first embodiment of the present invention.
  • FIG. 16 is a flowchart showing the processing operation of the second embodiment of the present invention
  • FIG. 17 is a flowchart showing the processing operation of the third embodiment of the present invention.
  • FIG. 18 is a flowchart showing the processing operation of the fourth embodiment of the present invention.
  • FIG. 19 is a flowchart showing the processing operation of the fifth embodiment of the present invention.
  • FIG. 20 is a flowchart showing the processing operation of the sixth embodiment of the present invention.
  • FIG. 21 is a flowchart showing the processing operation of the seventh embodiment of the present invention.
  • FIG. 22 is a flowchart showing the processing operation of the eighth embodiment of the present invention.
  • FIG. 23 is a flowchart showing the processing operation of the ninth embodiment of the present invention.
  • FIG. 24A is a diagram illustrating characteristics of quantization coefficients / parameters.
  • FIG. 24B is a diagram illustrating characteristics of quantization coefficients / parameters.
  • FIG. 25A is a diagram showing a comparison result of accuracy with a general quality estimation model.
  • FIG. 25B is a diagram showing a comparison result of accuracy with
  • FIG. 5 is a block diagram showing the configuration of the video quality objective evaluation apparatus in the embodiment of the present invention.
  • the video quality objective evaluation apparatus 1 includes a reception unit 2, a calculation unit 3, a storage medium 4, and an output unit 5.
  • the H.264 encoding device 6 converts the input video into the H.264 format described later. It is encoded by the H.264 system.
  • the encoded video bit string is communicated as a transmission packet in the transmission network and transmitted to the video quality objective evaluation apparatus 1.
  • the video quality objective evaluation apparatus 1 receives the transmission packet, that is, the encoded bit string at the receiving unit 2. And each function of the calculating part 3 is implement
  • the subjective quality of the video is estimated by outputting to.
  • a quantization parameter statistic calculation unit 11 and an integration unit 20 are provided.
  • the subjective quality EV is estimated using quantization parameter information that is quantization information existing in the bit stream of the evaluation video V encoded by the H.264 method. This method can be applied in principle to a coding method using DCT coefficients and motion compensation.
  • the simple flow of this embodiment is as follows. First, in FIG. 6, the encoded bit stream is first input to the quantization parameter statistic calculator 11.
  • the quantization parameter statistic calculation unit 11 extracts the quantization parameter from the bit stream and derives the representative value QPmin of the quantization parameter according to the algorithm shown below.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value QPmin of the quantization parameter according to the following algorithm.
  • the quantization parameter values of all macroblocks (all m) existing in the frame are used to represent quantization parameters for each frame.
  • the value QPmin (i) is derived.
  • QPmin (i) is derived from the following equation.
  • QPij represents the quantization parameter of macroblock number j in frame number i (FIG. 1), and operator
  • QP min is derived from the following equation.
  • the subjective quality EV of the evaluation video V is estimated using QP min derived as described above.
  • Subjective quality EV is derived by the following equation. H. In 264 the system due to the presence of non-linearity between the representative value QP min and subjective quality EV of the quantization parameter, and is obtained by considering the characteristics.
  • the coefficients a, b, c, and d are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • the ACR method shown in Reference 2 ITU-T P.910, “TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS,” Sep. 1999.
  • Reference 3 ITU-T R BT.500, “Methodology for the subjective assessment of the quality of television pictures,” 2002.) and the DSIS method or DSCQS method.
  • QP min (i) which is a quantization parameter for each frame
  • QP min (i) statistics such as QP ave which is an average value of QP min (i) and QP max which is a maximum value are calculated. It may be used instead of QP min .
  • a quantization parameter statistic calculation unit 11 a motion vector statistic calculation unit 12, and an integration unit 20 are provided.
  • Subjective quality EV is objectively estimated using motion vector information in addition to quantization parameters used in H.264 encoding. This scheme is applicable in principle to a coding scheme that uses DCT coefficients and motion compensation.
  • the encoded bit stream is first input to the quantization parameter statistic calculation unit 11 and the motion vector statistic calculation unit 12.
  • the quantization parameter statistic calculation unit 11 extracts the quantization parameter from the bit stream and derives the representative value QPmin of the quantization parameter according to the algorithm shown below.
  • the motion vector statistic calculation unit 12 extracts a motion vector from the bitstream and derives a representative value MVkurt of the motion vector according to the algorithm shown below.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value QPmin of the quantization parameter and the representative value MVkurt of the motion vector according to the following algorithm.
  • QP min shown in the first embodiment is used for EV derivation.
  • the representative value of the motion vector will be described with reference to FIG. 2, FIG. 3, and FIG.
  • any two reference frames used for derivation of motion vectors can be selected in units of macroblocks and sub-macroblocks, not limited to the front and rear. Therefore, each macroblock / sub-macroblock is projected onto one frame before and after the motion vector derivation target frame so as to normalize the size of the motion vector set for each macroblock / sub-macroblock. Specific processing will be described with reference to FIGS.
  • FIG. 3 shows a case where the reference frame of the j-th block MB ij in the motion vector derivation target frame i is behind (p + 1) frames of the frame i.
  • a motion vector MV ij exists on a reference frame from a motion vector derivation target frame i, and MV ij is converted to a vector MV from the motion vector derivation target frame i one frame backward as follows. ' Project to ij .
  • FIG. 4 shows a case where the reference frame of the j-th block MB ij in the motion vector derivation target frame i is ahead of the (q + 1) frame of the frame i.
  • the motion vector MV ij is present on the reference frame from the motion vector derivation target frame i, and the MV ij is moved forward from the motion vector derivation target frame i by one frame MV as follows. ' Project to ij .
  • the motion vector set for every macroblock / sub-macroblock j (1 ⁇ j ⁇ x) of the motion vector derivation target frame i can be projected onto a vector on i ⁇ 1 frame. It becomes possible.
  • x is the number of macroblocks in frame i.
  • the kurtosis Kurt (i) is derived as a statistic of the motion vector derivation target frame i by the following equation.
  • various statistics such as an average, maximum value, minimum value, and variance can be used as an alternative. In the following formula
  • MV kurt is derived using the representative value MV kurt (i) of the motion vector for each frame derived above.
  • MV kurt is derived by the following equation.
  • the kurtosis of the motion vector is used to express the distribution of the motion vector, and to quantify the uniform motion and the motion of a specific object in the video.
  • a feature quantity (dispersion, skewness, etc.) having a physical meaning similar to this may be used.
  • the subjective quality EV of the evaluation video V is estimated using the MV kurt and QP min derived above. EV is derived from the following equation. MV kurt in the following equation represents the size of the vector.
  • the coefficients a, b, c, d, e, f, g, h, i, j, k, l, and m are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a quantization parameter statistic calculation unit 11 For the evaluation video V encoded in the H.264 format, The subjective quality EV is objectively estimated using the statistical information of the I slice, P slice, and B slice in addition to the quantization parameter used in the H.264 encoding.
  • the switching I slice is regarded as an I slice, and the switching P slice is regarded as a P slice. This scheme is applicable in principle to a coding scheme that uses DCT coefficients and motion compensation.
  • the encoded bit stream is first input to the quantization parameter statistic calculator 11 and the frame type statistic calculator 13.
  • the quantization parameter statistic calculation unit 11 extracts the quantization parameter from the bit stream and derives the representative value QPmin of the quantization parameter according to the algorithm shown below.
  • the frame type statistic calculation unit 13 extracts the frame type from the bit stream and derives the frame type statistic R according to the algorithm shown below.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value QPmin of the quantization parameter and the frame type statistic R according to the following algorithm.
  • QPmin shown in the first embodiment (however, the statistic of the quantization parameter shown in the first embodiment may be used) is used for EV derivation.
  • I, P, and B attributes set for each slice S I counted the number of I slices present in the evaluation video, S P counted the number of P slices, and counted the number of B slices.
  • S B is derived, and the ratio R SI , R SP , R SB , R SPB of the number of each slice to the number of all slices is derived by the following equation.
  • the subjective quality EV of the evaluation video V is estimated using R and QP min derived as described above. EV is derived from the following equation.
  • the coefficients a, b, c, d, e, f, g, h, i, j, k, l, and m are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a quantization parameter statistic calculation unit 11 a motion vector statistic calculation unit 12, a frame type statistic calculation unit 13, and an integration unit 20 are provided.
  • the subjective quality EV is objectively estimated using the motion vector and the information of the I slice, P slice, and B slice in addition to the quantization parameter used in the H.264 encoding.
  • the switching I slice is regarded as an I slice
  • the switching P slice is regarded as a P slice.
  • the encoded bit stream is first input to the quantization parameter statistic calculator 11, the motion vector statistic calculator 12, and the frame type statistic calculator 13.
  • the quantization parameter statistic calculation unit 11 extracts the quantization parameter from the bit stream and derives the representative value QPmin of the quantization parameter according to the algorithm shown below.
  • the motion vector statistic calculation unit 12 extracts a motion vector from the bit stream and derives a representative value MV kurt of the motion vector according to the algorithm described below.
  • the frame type statistic calculation unit 13 extracts the frame type from the bit stream and derives the frame type statistic R according to the algorithm shown below.
  • the integrating unit 20 estimates the subjective quality EV of the evaluation video V from the representative value QPmin of the quantization parameter, the representative value MV kurt of the motion vector, and the frame type statistic R according to the following algorithm.
  • QP min shown in the first embodiment (however, the statistic of the quantization parameter shown in the first embodiment may be used) is used for EV derivation.
  • the motion vector the MV kurt shown in the second embodiment is used to derive the EV.
  • the I slice, P slice, and B slice, R shown in the third embodiment is used.
  • the subjective quality EV of the evaluation video V is estimated using the derived MV kurt , R, and QP min .
  • EV is derived from the following equation.
  • MV kurt in the following equation represents the size of the vector.
  • coefficients a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, y Is a coefficient which is optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a statistic calculation unit 14 and an integration unit 20 of the sum of bit amounts are provided.
  • the subjective quality EV is estimated using the bit amount used for predictive coding of the bit stream of the evaluation video V encoded by the H.264 method, the bit amount used for transform coding, and the bit amount used for coding control. .
  • This scheme is applicable in principle to a coding scheme that uses DCT coefficients and motion compensation.
  • the encoded bit stream is first input to the bit quantity sum statistic calculation unit 14.
  • the bit amount sum statistic calculation unit 14 extracts the sum of the bit amounts from the bit stream and derives a representative value Bit max of the sum of the bit amounts according to the following algorithm.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value Bit max of the sum of the bit amounts according to the following algorithm.
  • Bit max (i) of the sum of bit quanta for each frame is derived using the sum of the amount and the bit amount used for encoding control.
  • Bit max (i) is derived from the following equation.
  • Bit ij represents the sum of the bit amounts of the macroblock number j in the frame number i, and the operator
  • Bit max (i) of the sum of the bit amount for each frame derived above.
  • the subjective quality EV of the evaluation video V is estimated using Bit max derived above.
  • Subjective quality EV is derived by the following equation. H. In H.264, since there is nonlinearity between the representative value Bit max of the sum of the bit amounts and the subjective quality EV, the characteristics are taken into consideration.
  • the coefficients a, b, c, and d are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in the above-mentioned Reference 2 and the DSIS method or DSCQS method shown in the above-mentioned Reference 3.
  • Bit max (i) are representative of the sum of the bit amount for each frame, the average value of Bit max (i) Bitave and, Bit min such a minimum value, Bit max of (i) Statistics may be used instead of Bit max .
  • a statistic calculation unit 14 for the sum of bit amounts a motion vector statistic calculation unit 12, and an integration unit 20 are provided.
  • the subjective quality EV is objectively estimated using the bit amount used for predictive coding of the bitstream used in H.264 coding, the bit amount used for transform coding, and the bit amount used for coding control. To do.
  • This scheme is applicable in principle to a coding scheme that uses DCT coefficients and motion compensation.
  • the encoded bit stream is first input to the sum statistic calculator 14 and the motion vector statistic calculator 12.
  • the bit amount sum statistic calculation unit 14 extracts the sum of the bit amounts from the bit stream and derives a representative value Bit max of the sum of the bit amounts according to the following algorithm.
  • the motion vector statistic calculation unit 12 extracts a motion vector from the bit stream and derives a representative value MV kurt of the motion vector according to the algorithm described below.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value Bit max of the sum of the bit amounts and the representative value MV kurt of the motion vector according to the following algorithm.
  • Bitmax shown in Embodiment 5 is used for EV derivation.
  • the subjective quality EV of the evaluation video V is estimated using the representative value MV kurt of all the motion vectors of the evaluation video derived above and the representative value Bit max of the sum of all the bit amounts of the evaluation video. EV is derived from the following equation. MV kurt in the following equation represents the size of the vector.
  • the coefficients a, b, c, d, e, f, g, h, i, j, k, l, and m are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a statistic calculation unit 14 for the sum of bit amounts, a frame type statistic calculation unit 13 and an integration unit 20 are provided.
  • I slice, P slice, B Subjective quality EV is objectively estimated using slice statistical information.
  • the switching I slice is regarded as an I slice, and the switching P slice is regarded as a P slice. This method is applicable in principle to a coding method using DCT coefficients and motion compensation.
  • the encoded bit stream is first input to the sum statistic calculator 14 and the frame type statistic calculator 13.
  • the bit amount sum statistic calculation unit 14 extracts the sum of the bit amounts from the bit stream and derives a representative value Bit max of the sum of the bit amounts according to the following algorithm.
  • the frame type statistic calculation unit 13 extracts the frame type from the bit stream and derives the frame type statistic R according to the algorithm shown below.
  • the integration unit 20 estimates the subjective quality EV of the evaluation video V from the representative value Bit max of the sum of the bit amounts and the frame type statistic R according to the following algorithm.
  • Bit max shown in Embodiment 5 is used for EV derivation. .
  • the number of S I and P slices that count the number of I slices existing in the evaluation video is counted.
  • S B obtained by counting the number of S P and B slices is derived, and ratios R SI , R SP , R SB , and R SPB of the number of each slice to the number of all slices are derived as parameters. Then, using these parameters, the correlation with the subjective quality previously derived in the subjective quality evaluation experiment by the regression analysis is compared, and the parameter with the highest subjective quality estimation accuracy is defined as R.
  • the subjective quality EV of the evaluation video V is estimated using the parameter R and Bit max derived above. EV is derived from the following equation.
  • the coefficients a, b, c, d, e, f, g, h, i, j, k, l, and m are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a statistic calculation unit 14 for the sum of bit amounts a motion vector statistic calculation unit 12, a frame type statistic calculation unit 13, and an integration unit 20 are provided.
  • P Subjective quality EV is objectively estimated using information on slices and B slices.
  • the switching I slice is regarded as an I slice, and the switching P slice is regarded as a P slice. This scheme is applicable in principle to a coding scheme that uses DCT coefficients and motion compensation.
  • the encoded bitstream is first input to the bit amount sum statistic calculation unit 14, the motion vector statistic calculation unit 12, and the frame type statistic calculation unit 13.
  • the bit amount sum statistic calculation unit 14 extracts the sum of the bit amounts from the bit stream and derives a representative value Bit max of the sum of the bit amounts according to the following algorithm.
  • the motion vector statistic calculation unit 12 extracts a motion vector from the bit stream and derives a representative value MV kurt of the motion vector according to the algorithm described below.
  • the frame type statistic calculation unit 13 extracts the frame type from the bit stream and derives the frame type statistic R according to the algorithm shown below.
  • the integrating unit 20 estimates the subjective quality EV of the evaluation video V from the representative value Bit max of the sum of the bit amounts, the representative value MV kurt of the motion vector, and the frame type statistic R according to the following algorithm.
  • Bit max shown in Embodiment 5 is used for EV derivation.
  • the motion vector the MV kurt shown in the second embodiment is used to derive the EV.
  • the I slice, P slice, and B slice, R shown in the third embodiment is used.
  • the subjective quality EV of the evaluation video V is estimated using the derived MV kurt , R, and QP min .
  • EV is derived from the following equation.
  • MV kurt in the following equation represents the size of the vector.
  • coefficients a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, y Is a coefficient which is optimized by regression analysis by conducting a subjective evaluation experiment in advance.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • a statistic calculation unit 15 for the sum of bit amounts of I slices, P slices, and B slices, and a statistic calculation unit for quantization information of I slices, P slices, and B slices 16 and a subjective quality estimation unit 17 are provided.
  • the amount of bits used for predictive encoding of I slice, P slice, and B slice, the amount of bits used for transform encoding, and used for encoding control is objectively estimated using the quantization parameters (quantization information) of the I slice, P slice, and B slice.
  • the switching I slice is regarded as an I slice
  • the switching P slice is regarded as a P slice.
  • the encoded bit stream is first input to the bit amount sum calculation unit 15 of I slice, P slice, and B slice.
  • the calculation unit 15 derives bit amounts of I slices, P slices, and B slices by dividing them into motion vectors, quantization coefficients, and encoding control information.
  • the I-slice, P-slice, and B-slice quantization information statistic calculation unit 16 extracts the I-slice, P-slice, and B-slice quantization information, and follows the algorithm shown below to obtain I-slice / P-slice. Deriving statistics QP min (I), QP min (P), and QP min (B) of quantization information of B slices
  • the subjective quality estimation unit 17 estimates the subjective quality EV of the evaluation video V according to the following algorithm using the statistics QP min (I), QP min (P), QP min (B), and the like. These flows are shown in the flowchart of FIG. H.
  • the specification of the H.264 bit string is described in Reference 1, and The bit amount used for predictive coding of a bitstream set for each macroblock according to the H.264 specification, the bit amount used for transform coding, the bit amount used for coding control, and the I set for each slice -Extract P / B attribute information.
  • the bit amount used for predictive coding of each of the I slice, P slice, and B slice, the bit amount used for transform coding, and the bit amount used for control of coding are used for predictive coding of the I slice.
  • the amount of bits, the amount of bits used for transform coding, and the amount of bits used for coding control are Bit pred (I), Bit res (I), and Bit other (I), respectively, for predictive coding of P slices.
  • the amount of bits used, the amount of bits used for transform encoding, and the amount of bits used for control of encoding are Bit pred (P), Bit res (P), and Bit other (P), respectively.
  • bit amount used for encoding is respectively Bit pred (B), Bit res (B), and Bit other (B).
  • each bit amount may be the bit amount of all the corresponding slices of the evaluation video, or may be the bit amount of a slice existing within a specific time.
  • the values Bit pred (BP), Bit res (BP), and Bit other (BP) are defined, and are derived by the following expressions.
  • Bitp red (BP) Bit pred (B) + Bit pred (P)
  • Bit res (BP) Bit res (B) + Bit res (P)
  • Bit other (BP) Bit other (B) + Bit other (P)
  • the QP min derivation process for each slice shown in the first embodiment is applied to only the QP min (I) ⁇ P slice only, and only the QP min (P) ⁇ B slice is applied. QP min (B) applied to is used.
  • the I, P, and B attributes are determined for all slices constituting the evaluation video V, and the quantization information values of all macroblocks (all m) existing in the slice for each slice.
  • QPij represents quantization information of macroblock number j in slice number i (FIG. 1).
  • a value of QP min (BP) is defined and derived by the following formula.
  • QP min (BP) (QP min (B) + QP min (P)) / 2
  • Subjective quality EV is derived by the following equation. H. In the H.264 system, since nonlinearity exists between the bit amount of the I / P / B slice, the representative value of the quantization information, and the subjective quality EV, the characteristics are taken into consideration.
  • the coefficients a, b, c, d, e, f, g, h, i, j, k, l, m, n, and o are coefficients that are optimized by regression analysis by conducting a subjective evaluation experiment in advance. is there.
  • Examples of EV scales include the ACR method shown in Reference 2 and the DSIS method or DSCQS method shown in Reference 3.
  • Bit other (I) and Bit other (BP) may be used, and subjectivity may be derived by combining each case and applying various statistical operations such as summation, average, and variance, and performing superposition.
  • Bit other (I) and Bit other (BP) may be used, and subjectivity may be derived by combining each case and applying various statistical operations such as summation, average, and variance, and performing superposition.
  • the above non-linearity may be considered by using a logarithmic function, a polynomial function, or their reciprocal number instead of the exponential function.
  • the calculation is performed in units of slices, but it is possible to change the calculation unit in units of macroblocks, frames, GoPs, entire images, and the like.
  • FIGS. 24A and 24B show a situation in which the subjective quality is saturated in a region where QP min is small, the subjective quality is rapidly changed in a region where QP min is intermediate, and the subjective quality is saturated in a region where QP min is large.
  • FIG. 24B represents the relationship between the bit rate and the subjective quality of scenes 1, 2, 3, and 4 in order from the top, and indicates that the subjective quality varies depending on the encoding difficulty.
  • FIG. 25A the estimation results when the subjective quality is estimated by applying the average and standard deviation, which are general statistics, and when the subjective quality is estimated by the model shown in the present invention are shown in FIG. 25A. , Shown in FIG. 25B.
  • the horizontal axis represents the subjective quality acquired in the subjective quality evaluation experiment
  • the vertical axis represents the objective quality obtained by estimating the subjective quality.
  • the general model using the average and the standard deviation does not take into account the saturation characteristics shown in FIG. 24 and causes a deterioration in estimation accuracy.
  • the present invention can accurately consider this.
  • the estimation accuracy can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 動き補償フレーム間予測とDCT変換を用いるとともに、特にH.264方式を用いて符号化された映像のビット列を受信するとともに、受信したビット列に含まれる量子化パラメータを抽出してその統計量を演算し、この量子化パラメータの最小値に基づいて映像の主観品質を推定する。

Description

映像品質客観評価方法、映像品質客観評価装置、およびプログラム
 本発明は、人間が映像を見て体感した品質(主観品質)を推定する場合に、主観品質評価実験を行うことなく、符号化されたビット列の情報から客観的に主観品質を導出する、符号化による映像品質劣化を対象とした映像品質客観評価方法、映像品質客観評価装置およびプログラムに関する。
 従来では、映像通信サービスのユーザが視聴している映像の主観品質の評価を精度良く効率的に行うため、ビットレートやフレームレート等の符号化パラメータ情報やIPパケットのヘッダ情報を用いて客観的に映像品質評価を行う技術が検討されてきた(山岸和久,林孝典,“IPTVサービスを対象とした映像品質推定モデルの検討",信学技報,CQ2007-35, pp. 123-126, July. 2007.(文献1))。また、符号化ビットストリーム情報と画素信号情報を組み合わせて客観的に映像品質評価を行う技術についても検討されてきた(D. Hands, “Quality Assurance for IPTV,”ITU-T Workshop on “End-to-End QoE / QoS,”June. 2006.(文献2))。
 従来の技術では精度良く計算量を抑えて客観的に映像品質評価を行う技術の構築を目指している。しかし文献1に記載の技術は、平均的なシーンを想定した主観品質の推定を行うため、シーンの違いによる主観品質の変動を考慮することができず、主観品質の推定を良好な精度で実現できないという課題があった。
 また、文献2に記載の技術は、符号化ビットストリームとデコードされた画素情報に符号化されたビット列をサブ情報として加えた情報を用いて主観品質の推定を試みているが、特にH.264方式では画素情報へのデコードには莫大な計算量を要するため現実的に実行することは難しいという課題があった。
 このような課題を解決するために本発明は、動き補償フレーム間予測とDCT変換を用いて符号化された映像のビット列を受信する受信ステップと、受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、演算ステップの演算結果に基づいて映像の主観品質を推定する演算を行う主観品質推定ステップを備えることを特徴とする。
 すなわち、本発明は、現在主流である動き補償フレーム間予測とDCT変換を用いる符号化方式、特にH.264方式のビットストリームから、フレーム/スライス/動きベクトルのIPB属性を検出するステップと、動きベクトルとそのデータ量を抽出するステップと、DCT係数とそのデータ量を抽出するステップと、符号化制御情報とそのデータ量を抽出するステップと,量子化係数/量子化パラメータを抽出するステップと、これらの情報を統合して主観品質を客観的に映像の主観品質を推定するステップを備えるものである。
 本発明ではビットストリームのデコードを行わないため、小さい計算量で映像品質の推定が可能になると共に、ビットストリーム中に存在するシーンの違いを考慮可能なパラメータである動きベクトルやDCT係数の内容やデータ量を主観品質の推定に用いることにより、精度良く映像の主観品質を推定することが可能になる。
 ここで、本発明では、上記演算ステップが、ビット列に含まれる量子化情報を抽出して、量子化情報の統計量(例えば、H.264方式の量子化パラメータの最小値)を演算し、主観品質推定ステップは、量子化情報の統計量(例えば、H.264方式の量子化パラメータの最小値)に基づいて映像の主観品質を推定する演算を行うものである。
 さらに、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量(例えば、ベクトルの大きさの尖度)を演算し、主観品質推定ステップは、量子化情報の統計量(例えば、H.264方式の量子化パラメータの最小値)と動きベクトルの統計量(例えば、ベクトルの大きさの尖度)に基づいて映像の主観品質を推定する演算を行う。
 また、演算ステップは、ビット列に含まれるIスライス、PスライスおよびBスライスの情報を抽出するとともに、抽出したIスライス、PスライスおよびBスライスの情報に基づいてIスライス、PスライスおよびBスライスの統計情報を演算し、主観品質推定ステップは、量子化情報の統計量(例えば、H.264方式の量子化パラメータの最小値)とIスライス、PスライスおよびBスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
 なお、演算ステップは、ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算することもできる。この場合、主観品質推定ステップは、演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて映像の主観品質を推定する演算を行う。
 この場合、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量(例えば、ベクトルの大きさの尖度)を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量と動きベクトルの統計量(例えば、ベクトルの大きさの尖度)に基づいて映像の主観品質を推定する演算を行う。
 また、演算ステップは、ビット列に含まれるIスライス、PスライスおよびBスライスの情報を抽出するとともに、抽出したIスライス、PスライスおよびBスライスの情報に基づいてIスライス、PスライスおよびBスライスの統計情報を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量とIスライス、PスライスおよびBスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
 以上説明したように、本発明ではDCT変換と動き補償を用いる符号化方式、特にH.264方式で符号化されたビット列の情報(ビットストリーム)を利用することにより、計算量を抑えながら精度良く客観的に主観品質の推定を行うことが可能となり、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、映像伝送サービスで、ユーザが感じている主観品質を大規模かつリアルタイムに管理することが可能になる。
図1は、選択されたフレームにおける量子化パラメータの最小値の導出方法を説明する図である。 図2は、動きベクトルの導出対象フレームの位置を説明する図である。 図3は、動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。 図4は、動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。 図5は、映像品質客観評価装置の構成を示すブロック図である。 図6は、本発明の実施の形態1の構成を示す機能ブロック図である。 図7は、本発明の実施の形態2の構成を示す機能ブロック図である。 図8は、本発明の実施の形態3の構成を示す機能ブロック図である。 図9は、本発明の実施の形態4の構成を示す機能ブロック図である。 図10は、本発明の実施の形態5の構成を示す機能ブロック図である。 図11は、本発明の実施の形態6の構成を示す機能ブロック図である。 図12は、本発明の実施の形態7の構成を示す機能ブロック図である。 図13は、本発明の実施の形態8の構成を示す機能ブロック図である。 図14は、本発明の実施の形態9の構成を示す機能ブロック図である。 図15は、本発明の実施の形態1の処理動作を示すフローチャートである。 図16は、本発明の実施の形態2の処理動作を示すフローチャートである。 図17は、本発明の実施の形態3の処理動作を示すフローチャートである。 図18は、本発明の実施の形態4の処理動作を示すフローチャートである。 図19は、本発明の実施の形態5の処理動作を示すフローチャートである。 図20は、本発明の実施の形態6の処理動作を示すフローチャートである。 図21は、本発明の実施の形態7の処理動作を示すフローチャートである。 図22は、本発明の実施の形態8の処理動作を示すフローチャートである。 図23は、本発明の実施の形態9の処理動作を示すフローチャートである。 図24Aは、量子化係数/パラメータの特性を示す図である。 図24Bは、量子化係数/パラメータの特性を示す図である。 図25Aは、一般的な品質推定モデルとの精度の比較結果を示す図である。 図25Bは、一般的な品質推定モデルとの精度の比較結果を示す図である。
 以下、本発明の実施の形態について図を参照して説明する。
 図5は、本発明の実施の形態における映像品質客観評価装置の構成を示すブロック図である。本映像品質客観評価装置1は、図5に示すように、受信部2、演算部3、記憶媒体4および出力部5からなる。ここで、図5に示すH.264符号化装置6は、入力映像を後述するH.264方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送パケットとして通信され映像品質客観評価装置1に送信される。
 映像品質客観評価装置1は、その伝送パケット、すなわち前記符号化されたビット列を受信部2で受信する。そして、CPUが記憶媒体4に記憶されたプログラムを読み出して実行することにより、演算部3の各機能を実現する。即ち、演算部3は受信部2で受信されたビット列の情報を利用して後述する実施の形態1~8に示される各種の演算処理を行い、その演算処理結果を表示部などの出力部5に出力することにより、映像の主観品質を推定するものである。
(実施の形態1)
 実施の形態1では、図6に示すように、量子化パラメータ統計量計算部11と統合部20とが設けられ、H.264方式で符号化された評価映像Vのビットストリーム内に存在する量子化情報である量子化パラメータの情報を使って主観品質EVを推定する。本方式は、DCT係数と動き補償を使う符号化方式には原理的に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図6において、符号化ビットストリームはまず量子化パラメータ統計量計算部11に入力される。量子化パラメータ統計量計算部11では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値QPminを導出する。次に統合部20では以下のアルゴリズムに従って量子化パラメータの代表値QPminから評価映像Vの主観品質EVを推定する。
 これらの流れを図15のフローチャートに示している。H.264方式のビット列の仕様は参考文献1(ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000.)に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される量子化パラメータの情報の抽出を行う。
 図1に示すように、まず評価映像Vを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック(全m個)の量子化パラメータ値を使って、フレーム毎の量子化パラメータの代表値QPmin(i)を導出する。ただし、iはフレーム番号(i=1から映像の再生を開始してi=nで映像の再生を終了)を示す。QPmin(i)は以下の式で導出される。
Figure JPOXMLDOC01-appb-M000001
 ただし、QPijはフレーム番号i中のマクロブロック番号jの量子化パラメータを表し(図1)、また、演算子
Figure JPOXMLDOC01-appb-M000002
 は、自然数A1~Amを参照して最小となる値を出力する。ただし、最小値以外の任意の統計量(最大値、平均値等)を導出しても良い。
 上記処理によりフレーム番号i中で最も値が小さい量子化パラメータの導出がなされる。これは量子化パラメータがより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はフレーム番号i中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
 以上で導出したフレーム毎の量子化パラメータの代表値QPmin(i)を用いて、次に評価映像の全ての量子化パラメータの代表値QPminを導出する。QPminは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000003
 ただし、演算子
Figure JPOXMLDOC01-appb-M000004
 は、自然数A1~Amを参照して平均となる値を出力する。
 以上で導出したQPminを用いて、評価映像Vの主観品質EVを推定する。主観品質EVは以下の式で導出される。H.264では方式では量子化パラメータの代表値QPminと主観品質EVの間に非線形性が存在するため、その特性を考慮したものとなっている。
Figure JPOXMLDOC01-appb-M000005
 ただし、係数a,b,c,dは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2(ITU-T P.910,“TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS,”Sep. 1999.)に示されているACR法や参考文献3(ITU-R BT.500,“Methodology for the subjective assessment of the quality of television pictures,”2002.)に示されているDSIS法またはDSCQS法などがある。また、フレーム毎の量子化パラメータであるQPmin(i)を用いて、QPmin(i)の平均値であるQPaveや、最大値であるQPmaxなど、QPmin(i)の統計量をQPminの代わりに使っても良い。
(実施の形態2)
 実施の形態2では、図7に示すように、量子化パラメータ統計量計算部11、動きベクトル統計量計算部12および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用される量子化パラメータに加えて動きベクトルの情報を使って主観品質EVを客観的に推定する。本方式は、原理的にはDCT係数と動き補償を使う符号化方式に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図7において、符号化ビットストリームはまず量子化パラメータ統計量計算部11と動きベクトル統計量計算部12に入力される。量子化パラメータ統計量計算部11では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値QPminを導出する。また動きベクトル統計量計算部12では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値MVkurtを導出する。次に統合部20では以下のアルゴリズムに従って量子化パラメータの代表値QPminと動きベクトルの代表値MVkurtから評価映像Vの主観品質EVを推定する。
 これらの流れを図16のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
 量子化パラメータについては、実施の形態1で示したQPmin(ただし、実施の形態1で示した量子化パラメータの統計量を使っても良い)をEVの導出に利用する。
 一方、動きベクトルの代表値については、図2、図3、図4を用いて説明する。図2に示すように、H.264方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の2つ選ぶことが可能である。そこで各マクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを正規化するように、動きベクトルの導出対象フレームの前方・後方1フレームに各マクロブロック・サブマクロブロックを射影する。具体的な処理を図3、図4で説明する。
 図3は、動きベクトルの導出対象フレームi中のj番目のブロックMBijの参照フレームがフレームiの(p+1)フレーム後方にある場合を示している。図3のように動きベクトルの導出対象フレームiから参照フレーム上に動きベクトルMVijが存在しており、以下のようにしてMVijを動きベクトルの導出対象フレームiから1フレーム後方へのベクトルMV’ijに射影する。
Figure JPOXMLDOC01-appb-M000006
 また図4は、動きベクトルの導出対象フレームi中のj番目のブロックMBijの参照フレームがフレームiの(q+1)フレーム前方にある場合を示している。図4のように動きベクトルの導出対象フレームiから参照フレーム上に動きベクトルMVijが存在しており、以下のようにしてMVijを動きベクトルの導出対象フレームiから1フレーム前方へのベクトルMV’ijに射影する。
Figure JPOXMLDOC01-appb-M000007
 以上の処理により、動きベクトルの導出対象フレームiの全てのマクロブロック・サブマクロブロックj(1≦j≦x)毎に設定される動きベクトルを、i±1フレーム上のベクトルへ射影することが可能になる。ただし、xはフレームi内のマクロブロックの個数である。
 以上で導出した動きベクトルの導出対象フレームi上のベクトルMV’ijを用いて、次に以下の式で動きベクトルの導出対象フレームiの統計量として尖度Kurt(i)を導出する。ただし尖度Kurt(i)以外にも平均や最大値、或いは最小値や分散等の各種統計量を代替として用いることが可能である。
 下式中の
Figure JPOXMLDOC01-appb-M000008
 は、ベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000009
 以上で導出したフレーム毎の動きベクトルの代表値MVkurt(i)を用いて、次に評価映像の全ての動きベクトルの代表値MVkurtを導出する。MVkurtは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000010
 ただし、演算子
Figure JPOXMLDOC01-appb-M000011
 は、自然数A1~Amを参照して平均となる値を出力し、nは評価映像Vの全フレーム数である。
 ここで動きベクトルの尖度を用いたのは、動きベクトルの分布を表現するためであり、映像で一様な動きや特定の物体の動きを定量化するためである。これと類似の物理的意味を持った特徴量(分散や歪度等)を使っても良い。
 以上で導出したMVkurtとQPminを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。下式中のMVkurtはベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000012
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態3)
 実施の形態3では、図8に示すように、量子化パラメータ統計量計算部11、フレーム種別統計量計算部13および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用される量子化パラメータに加えてIスライス、Pスライス、Bスライスの統計情報を使って主観品質EVを客観的に推定する。なお、スイッチングIスライスはIスライス、スイッチングPスライスはPスライスとみなす。本方式は、原理的にはDCT係数と動き補償を使う符号化方式に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図8において、符号化ビットストリームはまず量子化パラメータ統計量計算部11とフレーム種別統計量計算部13に入力される。量子化パラメータ統計量計算部11では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値QPminを導出する。またフレーム種別統計量計算部13では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Rを導出する。次に統合部20では以下のアルゴリズムに従って量子化パラメータの代表値QPminとフレーム種別統計量Rから評価映像Vの主観品質EVを推定する。
 これらの流れを図17のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるI・P・B属性の情報を抽出する。
 量子化パラメータについては、実施の形態1で示したQPmin(ただし、実施の形態1で示した量子化パラメータの統計量を使っても良い)をEVの導出に利用する。
 一方、スライス毎に設定されるI・P・B属性については、評価映像中に存在するIスライスの数をカウントしたSI、Pスライスの数をカウントしたSP、Bスライスの数をカウントしたSBを導出し、以下の式で全てのスライスの数に対する各スライスの数の割合RSI、RSP、RSB、RSPBを導出する。これは基本的にPスライスやBスライスなどの他スライスからの差分となるスライスを増やすと原理的に1枚当たりのスライス品質が向上し、逆にIスライスを増やすと1枚当たりのスライス品質が低下するため、全体のスライス数に対する各スライスの割合が品質に密接に関係するために、このようなパラメータを導入した。ただし、スライスの代わりに、I・P・B属性のフレームまたはブロックを用いて上記処理を実行しても良い。
Figure JPOXMLDOC01-appb-M000013
 これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをRとする。
 以上で導出したRとQPminを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000014
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態4)
 実施の形態4では、図9に示すように、量子化パラメータ統計量計算部11、動きベクトル統計量計算部12、フレーム種別統計量計算部13および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用される量子化パラメータに加えて動きベクトルとIスライス、Pスライス、Bスライスの情報を使って主観品質EVを客観的に推定する。なお、スイッチングIスライスはIスライス、スイッチングPスライスはPスライスとみなす。
 本実施の形態の簡単な流れを次に示す。まず図9において,符号化ビットストリームはまず量子化パラメータ統計量計算部11と動きベクトル統計量計算部12とフレーム種別統計量計算部13に入力される。量子化パラメータ統計量計算部11では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値QPminを導出する。また動きベクトル統計量計算部12では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値MVkurtを導出する。さらに、フレーム種別統計量計算部13では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Rを導出する。次に統合部20では以下のアルゴリズムに従って量子化パラメータの代表値QPminと動きベクトルの代表値MVkurtとフレーム種別統計量Rから評価映像Vの主観品質EVを推定する。
 これらの流れを図18のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるI・P・B属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
 量子化パラメータについては、実施の形態1で示したQPmin(ただし、実施の形態1で示した量子化パラメータの統計量を使っても良い)をEVの導出に利用する。
 動きベクトルについては、実施の形態2で示したMVkurtをEVの導出に利用する。
 Iスライス、Pスライス、Bスライスについては実施の形態3で示したRを利用する。
 以上で、導出したMVkurtとRとQPminを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。下式中のMVkurtはベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000015
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,o,p,q,r,s,t,u,v,w,x,yは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態5)
 実施の形態5では、図10に示すように、ビット量の和の統計量計算部14と統合部20が設けられ、H.264方式で符号化された評価映像Vのビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質EVを推定する。本方式は、原理的にはDCT係数と動き補償を使う符号化方式に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図10において、符号化ビットストリームはまずビット量の和統計量計算部14に入力される。ビット量の和統計量計算部14では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Bitmaxを導出する。次に統合部20では以下のアルゴリズムに従ってビット量の和の代表値Bitmaxから評価映像Vの主観品質EVを推定する。
 これらの流れを図19のフローチャートに示している。H.264方式のビット列の仕様は前述の参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の情報の導出を行う。
 図9に示すように、まず評価映像Vを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック(全m個)の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の和を使って、フレーム毎のビット量子の和の代表値Bitmax(i)を導出する。ただし、iはフレーム番号(i=1から映像の再生を開始してi=nで映像の再生を終了)を示す。Bitmax(i)は以下の式で導出される。
Figure JPOXMLDOC01-appb-M000016
 ただし、Bitijはフレーム番号i中のマクロブロック番号jのビット量の和を表し、また、演算子
Figure JPOXMLDOC01-appb-M000017
 は、自然数A1~Amを参照して最大となる値を出力する。ただし、最大値以外の任意の統計量(最小値、平均値等)を導出しても良い。
 上記処理によりフレーム番号i中で最も値が大きいビット量の和の導出がなされる。これはビット量の和がより大きくなると該当マクロブロックに対してよりビット量を割り振る符号化処理が適用されることから、上記処理は効率的な処理が難しいマクロブロックのビット量の和を導出することになる。
 以上で導出したフレーム毎のビット量の和の代表値Bitmax(i)を用いて、次に評価映像の全てのビット量の和の代表値Bitmaxを導出する。Bitmaxは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000018
 ただし、演算子
Figure JPOXMLDOC01-appb-M000019
 は、自然数A1~Amを参照して平均となる値を出力する。
 以上で導出したBitmaxを用いて、評価映像Vの主観品質EVを推定する。主観品質EVは以下の式で導出される。H.264では方式ではビット量の和の代表値Bitmaxと主観品質EVの間に非線形性が存在するため、その特性を考慮したものとなっている。
Figure JPOXMLDOC01-appb-M000020
 ただし、係数a,b,c,dは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては前述の参考文献2に示されているACR法や前述の参考文献3に示されているDSIS法またはDSCQS法などがある。また、フレーム毎のビット量の和の代表値であるBitmax(i)を用いて、Bitmax(i)の平均値であるBitaveや、最小値であるBitminなど、Bitmax(i)の統計量をBitmaxの代わりに使っても良い。
(実施の形態6)
 実施の形態6では、図11に示すように、ビット量の和の統計量計算部14、動きベクトル統計量計算部12および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質EVを客観的に推定する。本方式は、原理的にはDCT係数と動き補償を使う符号化方式に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図11において、符号化ビットストリームはまずビット量の和統計量計算部14と動きベクトル統計量計算部12に入力される。ビット量の和統計量計算部14では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Bitmaxを導出する。また動きベクトル統計量計算部12では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値MVkurtを導出する。次に統合部20では以下のアルゴリズムに従ってビット量の和の代表値Bitmaxと動きベクトルの代表値MVkurtから評価映像Vの主観品質EVを推定する。
 これらの流れを図20のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量と、マクロブロック、サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
 ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量については、実施の形態5で示したBitmaxをEVの導出に利用する。
 一方、動きベクトルの代表値の導出については、既に実施の形態2で図2、図3、図4を用いて説明したとおりであるので省略する。
 以上で導出した評価映像の全ての動きベクトルの代表値MVkurtと、評価映像の全てのビット量の和の代表値Bitmaxを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。下式中のMVkurtはベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000021
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態7)
 実施の形態7では、図12に示すように、ビット量の和の統計量計算部14、フレーム種別統計量計算部13および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えてIスライス、Pスライス、Bスライスの統計情報を用いて主観品質EVを客観的に推定する。なお、スイッチングIスライスはIスライス、スイッチングPスライスはPスライスとみなす。本方式は、原理的にはDCT係数と動き補償を使う符号化方式には適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図12において、符号化ビットストリームはまずビット量の和統計量計算部14とフレーム種別統計量計算部13に入力される。ビット量の和統計量計算部14では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Bitmaxを導出する。またフレーム種別統計量計算部13では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Rを導出する。次に統合部20では以下のアルゴリズムに従ってビット量の和の代表値Bitmaxとフレーム種別統計量Rから評価映像Vの主観品質EVを推定する。
 これらの流れを図21のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるI・P・B属性の情報を抽出する。
 ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態5で示したBitmaxをEVの導出に利用する。
 一方、スライス毎に設定されるI・P・B属性については、既に実施の形態3で説明したように、評価映像中に存在するIスライスの数をカウントしたSI、Pスライスの数をカウントしたSP、Bスライスの数をカウントしたSBを導出し、全てのスライスの数に対する各スライスの数の割合RSI、RSP、RSB、RSPBをパラメータとして導出する。そして、これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをRとする。
 以上で導出したパラメータRとBitmaxを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000022
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態8)
 実施の形態8では、図13に示すように、ビット量の和の統計量計算部14、動きベクトル統計量計算部12、フレーム種別統計量計算部13および統合部20が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えて動きベクトルとIスライス、Pスライス、Bスライスの情報を使って主観品質EVを客観的に推定する。なお、スイッチングIスライスはIスライス、スイッチングPスライスはPスライスとみなす。本方式は、原理的にはDCT係数と動き補償を使う符号化方式に適用可能である。
 本実施の形態の簡単な流れを次に示す。まず図13において、符号化ビットストリームはまずビット量の和統計量計算部14と動きベクトル統計量計算部12とフレーム種別統計量計算部13に入力される。ビット量の和統計量計算部14では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Bitmaxを導出する。また動きベクトル統計量計算部12では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値MVkurtを導出する。さらに、フレーム種別統計量計算部13では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Rを導出する。次に統合部20では以下のアルゴリズムに従ってビット量の和の代表値Bitmaxと動きベクトルの代表値MVkurtとフレーム種別統計量Rから評価映像Vの主観品質EVを推定する。
 これらの流れを図22のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるI・P・B属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
 ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態5で示したBitmaxをEVの導出に利用する。
 動きベクトルについては、実施の形態2で示したMVkurtをEVの導出に利用する。
 Iスライス、Pスライス、Bスライスについては実施の形態3で示したRを利用する。
 以上で、導出したMVkurtとRとQPminを用いて、評価映像Vの主観品質EVを推定する。EVは以下の式で導出される。下式中のMVkurtはベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000023
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,o,p,q,r,s,t,u,v,w,x,yは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
(実施の形態9)
 実施の形態9では、図14に示すように、Iスライス・Pスライス・Bスライスのビット量の和の統計量計算部15、Iスライス・Pスライス・Bスライスの量子化情報の統計量計算部16および主観品質推定部17が設けられ、H.264方式で符号化された評価映像Vに対して、H.264方式の符号化で利用されるビットストリームのうち、Iスライス・Pスライス・Bスライスの各々の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量に加えて、Iスライス・Pスライス・Bスライスの量子化パラメータ(量子化情報)を使って主観品質EVを客観的に推定するものである。なお、スイッチングIスライスはIスライス、スイッチングPスライスはPスライスとみなす。
 本実施の形態の簡単な流れを次に示す。まず、図14において、符号化ビットストリームはまずIスライス・Pスライス・Bスライスのビット量の和計算部15に入力される。この計算部15では、Iスライス,Pスライス,Bスライスのビット量を動きベクトルや量子化係数、また符号化制御情報に場合分けして導出する。次にIスライス・Pスライス・Bスライスの量子化情報の統計量計算部16では、Iスライス,Pスライス,Bスライス内の量子化情報を抽出して以下に示すアルゴリズムに従って、Iスライス・Pスライス・Bスライスの量子化情報の統計量QPmin(I)・QPmin(P)・QPmin(B)を導出する。
 次に主観品質推定部17では、統計量QPmin(I)・QPmin(P)・QPmin(B)等を用い、以下で示すアルゴリズムに従って評価映像Vの主観品質EVを推定する。これらの流れを図23のフローチャートに示している。H.264方式のビット列の仕様は参考文献1に記載されており、H.264方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量とスライス毎に設定されるI・P・B属性の情報を抽出する。
 Iスライス、Pスライス、Bスライスの各々の予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量については、Iスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Bitpred(I)・Bitres(I)・Bitother(I)とし、Pスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Bitpred(P)・Bitres(P)・Bitother(P)とし、Bスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Bitpred(B)・Bitres(B)・Bitother(B)とする。ただし、各ビット量は評価映像の全ての該当スライスのビット量としても良いし、ある特定時間内に存在するスライスのビット量としても良い。また、Bitpred(BP)・Bitres(BP)・Bitother(BP)という値を定義し、以下の式で導出する。
 Bitpred(BP)=Bitpred(B)+Bitpred(P)
 Bitres(BP)=Bitres(B)+Bitres(P)
 Bitother(BP)=Bitother(B)+Bitother(P)
 量子化情報については、実施の形態1で示したスライス毎のQPminの導出プロセスを、Iスライスのみに適用したQPmin(I)・Pスライスのみに適用したQPmin(P)・Bスライスのみに適用したQPmin(B)を利用する。
 具体的には、評価映像Vを構成する全てのスライスについてI・P・B属性を判定し、各スライス毎に、スライス内に存在する全てのマクロブロック(全m個)の量子化情報の値を使って、スライス毎の量子化情報の代表値QPmin(i)を以下の式で導出する。ただし、iはスライス番号(i=1から映像の再生を開始してi=nで映像の再生を終了)を示す。
Figure JPOXMLDOC01-appb-M000024
 ただし、QPijはスライス番号i中のマクロブロック番号jの量子化情報を表す(図1)。また、演算子
Figure JPOXMLDOC01-appb-M000025
 は、自然数A1~Amを参照して最小となる値を出力する。
 上記処理によりスライス番号i中で最も値が小さい量子化情報の導出がなされる。これは量子化情報がより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はスライス番号i中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
 なお、QPmin(i)の代わりにQPave(i)等の平均や最小や最大等の平均や最小や最大等の別のパラメータを以下の処理で利用することができる。QPave(i)は以下の式で導出される。
Figure JPOXMLDOC01-appb-M000026
 ただし、演算子
Figure JPOXMLDOC01-appb-M000027
 は、自然数A1~Amを参照して平均となる値を出力する。
 以上で導出したスライス毎の量子化情報の代表値QPmin(i)を用いて、次に評価映像の全ての量子化情報の代表値QPminを導出する。QPminは以下の式で導出される。
Figure JPOXMLDOC01-appb-M000028
 以上の導出処理を、I・P・B属性毎に適用して得られる値をそれぞれ、QPmin(I)・QPmin(P)・QPmin(B)とする。また、QPmin(BP)という値を定義し、以下の式で導出する。
 QPmin(BP)=(QPmin(B)+QPmin(P))/2
 次に、評価映像Vの主観品質EVを推定する。主観品質EVは以下の式で導出される。H.264方式ではI・P・Bスライスのビット量と量子化情報の代表値と主観品質EVの間に非線形性が存在するため、その特性を考慮したものとなっている。
Figure JPOXMLDOC01-appb-M000029
 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,n,oは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、EVの尺度としては参考文献2に示されているACR法や参考文献3に示されているDSIS法またはDSCQS法などがある。
 また、Bitres(I)・Bitres(BP)の代わりに、Bitpred(I)・Bitpred(BP)や以下で定義するビット量の割合Rres(I)・Rres(BP)、またBitother(I)・Bitother(BP)を用いることもでき、各場合を組み合わせて和算・平均・分散等の各種統計演算を適用して重ね合わせを行って主観品質を導出しても良い。以上の式について、指数関数の代わりに対数関数や多項式関数や、それらの逆数により上記非線形性を考慮しても良い。
Figure JPOXMLDOC01-appb-M000030
 さらに、本実施の形態では、スライス単位で演算を行っているが、マクロブロック単位・フレーム単位・GoP単位・映像全体等の演算単位に変更が可能である。
 なお、上記で量子化パラメータの代表値と主観品質EVとの間に非線形性の関係が存在すると述べたが、その関係を図24A,図24Bに示す。図24Aでは、QPminが小さい領域で主観品質が飽和し、QPminが中間の領域で主観品質が急激に変化し、QPminが大きい領域で主観品質が飽和する状況を示している。図24Bでは、上から順にシーン1,2,3,4のビットレートと主観品質との関係を表し、符号化難度で主観品質が変動することを表している。量子化パラメータの代表値と主観品質EVとの間に存在するこのような特性を考慮することで、より的確な品質推定が可能になる。参考までに、一般的な統計量である平均と標準偏差を適用して主観品質の推定を行った場合と、本発明で示したモデルで主観品質を推定した場合の推定結果をそれそれ図25A,図25Bに示す。図25A,図25Bでは、横軸が主観品質評価実験で取得した主観品質であり、縦軸が主観品質を推定した客観品質となる。
 図25に示すように、平均と標準偏差を用いる一般的なモデルでは、図24に示す飽和特性を考慮しきれずに推定精度の悪化を招いているが、本発明ではこれを正確に考慮できており、推定精度の向上を可能にしている。

Claims (15)

  1.  映像の主観品質を評価する評価方法であって、
     動き補償フレーム間予測とDCT変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信ステップと、
     受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、
     前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定ステップと
     を有することを特徴とする映像品質客観評価方法。
  2.  請求項1において、
     前記演算ステップは、前記ビット列に含まれる量子化情報を抽出して、前記量子化情報の統計量を演算し、
     前記主観品質推定ステップは、前記量子化情報の統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  3.  請求項2において、
     前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
     前記主観品質推定ステップは、前記量子化情報の統計量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  4.  請求項2において、
     前記演算ステップは、前記ビット列に含まれる動き補償フレーム間予測であるI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの情報に基づいてI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの統計情報を演算し、
     前記主観品質推定ステップは、前記量子化情報の統計量と、前記I(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  5.  請求項1において、
     前記演算ステップは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算し、
     前記主観品質推定ステップは、前記演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  6.  請求項5において、
     前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
     前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  7.  請求項5において、
     前記演算ステップは、前記ビット列に含まれるI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの情報に基づいてI(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの統計情報を演算し、
     前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量、前記I(イントラ)フレームまたはスライスまたはブロック、P(前方向予測)フレームまたはスライスまたはブロックおよびB(双方向、双予測)フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  8.  請求項1において、
     前記演算ステップは、前記ビット列に含まれる、Iスライス、PスライスおよびBスライスのビット量と、Iスライス、PスライスおよびBスライスの量子化情報の統計量を抽出し、前記主観品質推定ステップは、前記ビット量と前記量子化情報に基づいて、前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
  9.  請求項8において、
     前記ビット量とは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から演算される、予測符号化に使われるビット量、変換符号化に使われるビット量および符号化の制御に使われるその他のビット量であることを特徴とする映像品質客観評価方法。
  10.  請求項8において、
     前記ビット量とは、PスライスとBスライスの予測符号化に使われるビット量の和、変換符号化に使われるビット量の和および符号化の制御に使われるその他のビット量の和であることを特徴とする映像品質客観評価方法。
  11.  請求項8において、
     前記量子化情報とは、PスライスとBスライスのビット列に含まれる量子化情報の平均値、もしくは和算や乗算や指数対数演算による統計量であることを特徴とする映像品質客観評価方法。
  12.  請求項1~11のいずれかにおいて、
     Iスライスの代わりにIマクロブロック、Iフレームを使い、Pスライスの代わりにPマクロブロック、Pフレームを使い、Bスライスの代わりにBマクロブロック、Bフレームを使って前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
  13.  請求項1~11のいずれかにおいて、
     Iモードは動き補償を用いないモード、Pモードは1つのリファレンスフレームから動き補償するモード、Bモードは2つ以上のリファレンスフレームから動き補償するモードであることを特徴とする映像品質客観評価方法。
  14.  映像の主観品質を評価する評価装置であって、
     動き補償フレーム間予測とDCT変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信部と、
     受信したビット列に含まれる情報を入力して所定の演算を行う第1演算部と、
     前記第1演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う第2演算部と
     を有することを特徴とする映像品質客観評価装置。
  15.  動き補償フレーム間予測とDCT変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信処理と、
     前記受信処理に基づいて受信したビット列に含まれる情報を入力して所定の演算を行う演算処理と、
     前記演算処理の演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定処理と
     をコンピュータに実行させるプログラム。
PCT/JP2009/055679 2008-03-21 2009-03-23 映像品質客観評価方法、映像品質客観評価装置、およびプログラム WO2009116666A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BRPI0909331A BRPI0909331A2 (pt) 2008-03-21 2009-03-23 método de avaliação objetiva de qualidade de vídeo, aparelho de vídeo, aparelho de avaliação objetiva de qualidade de vídeo, e programa
CN2009801092135A CN101978700A (zh) 2008-03-21 2009-03-23 视频质量客观评价方法、视频质量客观评价设备及程序
US12/922,846 US20110013694A1 (en) 2008-03-21 2009-03-23 Video quality objective assessment method, video quality objective assessment apparatus, and program
KR20107020736A KR101188833B1 (ko) 2008-03-21 2009-03-23 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램
EP09722268A EP2252073A4 (en) 2008-03-21 2009-03-23 METHOD, DEVICE AND PROGRAM FOR OBJECTIVELY EVALUATING THE QUALITY OF VIDEO CONTENT

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008074547 2008-03-21
JP2008-074547 2008-03-21
JP2009-041457 2009-02-24
JP2009041457A JP2009260940A (ja) 2008-03-21 2009-02-24 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Publications (1)

Publication Number Publication Date
WO2009116666A1 true WO2009116666A1 (ja) 2009-09-24

Family

ID=41091062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/055679 WO2009116666A1 (ja) 2008-03-21 2009-03-23 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Country Status (7)

Country Link
US (1) US20110013694A1 (ja)
EP (1) EP2252073A4 (ja)
JP (1) JP2009260940A (ja)
KR (1) KR101188833B1 (ja)
CN (1) CN101978700A (ja)
BR (1) BRPI0909331A2 (ja)
WO (1) WO2009116666A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895788A (zh) * 2010-07-21 2010-11-24 深圳市融创天下科技发展有限公司 一种视频编码性能客观评价方法及系统
WO2011048829A1 (ja) * 2009-10-22 2011-04-28 日本電信電話株式会社 映像品質推定装置、映像品質推定方法およびプログラム
CN102713977A (zh) * 2010-01-12 2012-10-03 西江大学校产学协力团 使用量化代码的图片质量评估方法和设备
JP2013527688A (ja) * 2010-04-30 2013-06-27 トムソン ライセンシング ビデオストリームの品質を評価する方法と装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5484140B2 (ja) * 2010-03-17 2014-05-07 Kddi株式会社 映像品質の客観画質評価装置
JP2012182785A (ja) * 2011-02-07 2012-09-20 Panasonic Corp 映像再生装置および映像再生方法
WO2013048300A1 (en) * 2011-09-26 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded video stream
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
JP6009578B2 (ja) * 2011-12-09 2016-10-19 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 映像ビットストリーム内の品質欠陥を検知するための方法及び装置
JP2015505196A (ja) * 2011-12-15 2015-02-16 トムソン ライセンシングThomson Licensing ビデオ品質測定のための方法及び装置
KR101279705B1 (ko) * 2011-12-22 2013-06-27 연세대학교 산학협력단 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법
US8826314B2 (en) 2012-01-30 2014-09-02 At&T Intellectual Property I, Lp Method and apparatus for managing quality of service
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
JP5981803B2 (ja) * 2012-08-07 2016-08-31 日本電信電話株式会社 画質評価装置、画質評価方法及び画質評価プログラム
JP5956316B2 (ja) * 2012-11-26 2016-07-27 日本電信電話株式会社 主観画質推定装置、主観画質推定方法及びプログラム
US20150304709A1 (en) * 2012-11-30 2015-10-22 Qian Zhang Method and apparatus for estimating video quality
CN103747237B (zh) * 2013-02-06 2015-04-29 华为技术有限公司 视频编码质量的评估方法及设备
JP5992866B2 (ja) * 2013-05-23 2016-09-14 日本電信電話株式会社 主観画質推定装置、及び、主観画質推定プログラム
CN104202594B (zh) * 2014-07-25 2016-04-13 宁波大学 一种基于三维小波变换的视频质量评价方法
CN106713901B (zh) * 2015-11-18 2018-10-19 华为技术有限公司 一种视频质量评价方法及装置
CN105611283B (zh) * 2015-12-24 2017-12-29 深圳市凯木金科技有限公司 一种主观影像效果评价方法
WO2017122310A1 (ja) * 2016-01-14 2017-07-20 三菱電機株式会社 符号化性能評価支援装置、符号化性能評価支援方法及び符号化性能評価支援プログラム
EP3291556A1 (en) * 2016-08-30 2018-03-07 Deutsche Telekom AG Method and apparatus for determining the perceptual video quality of a chunk of multimedia content
JP7215229B2 (ja) * 2019-03-01 2023-01-31 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム
CN115442589A (zh) * 2022-08-03 2022-12-06 珠海全志科技股份有限公司 基于视频帧信息的视频源压缩质量分析方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043500A1 (ja) * 2004-10-18 2006-04-27 Nippon Telegraph And Telephone Corporation 映像品質客観評価装置、評価方法およびプログラム
WO2007066066A2 (en) * 2005-12-05 2007-06-14 British Telecommunications Public Limited Company Non-intrusive video quality measurement
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907372A (en) * 1996-06-28 1999-05-25 Hitachi, Ltd. Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format
GB0228556D0 (en) * 2002-12-06 2003-01-15 British Telecomm Video quality measurement
JP2006509437A (ja) * 2002-12-10 2006-03-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタルビデオ処理に対する統一測定基準(umdvp)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043500A1 (ja) * 2004-10-18 2006-04-27 Nippon Telegraph And Telephone Corporation 映像品質客観評価装置、評価方法およびプログラム
WO2007066066A2 (en) * 2005-12-05 2007-06-14 British Telecommunications Public Limited Company Non-intrusive video quality measurement
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", ITU-T H.264, February 2000 (2000-02-01)
"Methodology for the subjective assessment of the quality of television pictures", ITU-R BT.500, 2002
"TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS", ITU-T P.910, September 1999 (1999-09-01)
D. HANDS: "Quality Assurance for IPTV", ITU-T WORKSHOP ON "END-TO-END QOE/QOS", June 2006 (2006-06-01)
KAZUHISA YAMAGISHI; TAKANORI HAYASHI: "Video Quality Estimation Model for IPTV Services", TECHNICAL REPORT OF IEICE, July 2007 (2007-07-01), pages 123 - 126

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011048829A1 (ja) * 2009-10-22 2011-04-28 日本電信電話株式会社 映像品質推定装置、映像品質推定方法およびプログラム
EP2493205A1 (en) * 2009-10-22 2012-08-29 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, and video quality estimation program
CN102687517A (zh) * 2009-10-22 2012-09-19 日本电信电话株式会社 视频质量估计设备、视频质量估计方法以及程序
EP2493205A4 (en) * 2009-10-22 2012-12-26 Nippon Telegraph & Telephone VIDEO QUALITY ASSESSMENT DEVICE, VIDEO QUALITY ASSESSMENT PROCEDURE AND VIDEO QUALITY ASSESSMENT PROGRAM
KR101359722B1 (ko) 2009-10-22 2014-02-05 니폰덴신뎅와 가부시키가이샤 비디오 품질 추정장치, 비디오 품질 추정방법 및 프로그램
JP5519690B2 (ja) * 2009-10-22 2014-06-11 日本電信電話株式会社 映像品質推定装置、映像品質推定方法およびプログラム
US9001897B2 (en) 2009-10-22 2015-04-07 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, video quality estimation method, and program
CN102713977A (zh) * 2010-01-12 2012-10-03 西江大学校产学协力团 使用量化代码的图片质量评估方法和设备
JP2013527688A (ja) * 2010-04-30 2013-06-27 トムソン ライセンシング ビデオストリームの品質を評価する方法と装置
US9288071B2 (en) 2010-04-30 2016-03-15 Thomson Licensing Method and apparatus for assessing quality of video stream
CN101895788A (zh) * 2010-07-21 2010-11-24 深圳市融创天下科技发展有限公司 一种视频编码性能客观评价方法及系统

Also Published As

Publication number Publication date
BRPI0909331A2 (pt) 2015-09-29
JP2009260940A (ja) 2009-11-05
US20110013694A1 (en) 2011-01-20
CN101978700A (zh) 2011-02-16
KR20100126397A (ko) 2010-12-01
EP2252073A4 (en) 2011-06-08
EP2252073A1 (en) 2010-11-17
KR101188833B1 (ko) 2012-10-08

Similar Documents

Publication Publication Date Title
WO2009116666A1 (ja) 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP6328637B2 (ja) ビデオストリーミングサービスのためのコンテンツ依存型ビデオ品質モデル
WO2013173909A1 (en) Methods and apparatus for providing a presentation quality signal
DK2347599T3 (en) METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW
JP5882320B2 (ja) 映像信号の符号化または圧縮の間の、映像信号の品質を評価するための方法および装置
Joskowicz et al. A parametric model for perceptual video quality estimation
Joskowicz et al. A general parametric model for perceptual video quality estimation
Adeyemi-Ejeye et al. Packet loss visibility across SD, HD, 3D, and UHD video streams
Xu et al. Consistent visual quality control in video coding
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
Konuk et al. A spatiotemporal no-reference video quality assessment model
Schroeder et al. Low-complexity no-reference PSNR estimation for H. 264/AVC encoded video
Rossholm et al. A new low complex reference free video quality predictor
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
Liu et al. Real-time video quality monitoring
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
Goudarzi A no-reference low-complexity QoE measurement algorithm for H. 264 video transmission systems
JP4309703B2 (ja) 符号化誤差推定装置
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
Zhang et al. Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change
JP5523357B2 (ja) 映像品質推定装置及び方法及びプログラム
Ascenso et al. Packet-header based no-reference quality metrics for H. 264/AVC video transmission
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
Karthikeyan et al. Perceptual video quality assessment in H. 264 video coding standard using objective modeling

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980109213.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09722268

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009722268

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12922846

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20107020736

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0909331

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100916