WO2009116667A1 - 映像品質客観評価方法、映像品質客観評価装置、及びプログラム - Google Patents

映像品質客観評価方法、映像品質客観評価装置、及びプログラム Download PDF

Info

Publication number
WO2009116667A1
WO2009116667A1 PCT/JP2009/055681 JP2009055681W WO2009116667A1 WO 2009116667 A1 WO2009116667 A1 WO 2009116667A1 JP 2009055681 W JP2009055681 W JP 2009055681W WO 2009116667 A1 WO2009116667 A1 WO 2009116667A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
quality
subjective quality
macroblock
frame
Prior art date
Application number
PCT/JP2009/055681
Other languages
English (en)
French (fr)
Inventor
敬志郎 渡辺
岡本　淳
和久 山岸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP09721820A priority Critical patent/EP2257077A4/en
Priority to US12/922,678 priority patent/US20110026585A1/en
Priority to BRPI0908561A priority patent/BRPI0908561A2/pt
Priority to CN2009801092370A priority patent/CN101978701A/zh
Publication of WO2009116667A1 publication Critical patent/WO2009116667A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Definitions

  • the present invention relates to a video quality objective evaluation technique for video quality degradation due to loss of video data, and in particular, when evaluating the quality (subjective quality) experienced by humans when viewing video, a large number of subjects are specialized.
  • a video quality objective evaluation method for objectively deriving subjective quality from the encoded bit string information of the video viewed by the user, without conducting a subjective quality evaluation experiment in which the video is actually viewed and evaluated within the experimental facility The present invention relates to a video quality objective evaluation apparatus and program.
  • Reference 3 attempts to estimate subjective quality using pixel information of a video obtained by decoding a bit string of an encoded video.
  • decoding to pixel information requires an enormous amount of computation, so that subjective quality is estimated in real time.
  • Estimating quality requires a very large amount of computation, and therefore the manufacturing cost per unit rises. Therefore, it is necessary to mount it on a user's video playback terminal (set top box) or the like that requires low cost. It becomes difficult.
  • the present invention is a coding method using motion compensation inter-frame prediction and DCT conversion, which is currently mainstream, particularly H.264.
  • a loss occurs in an H.264 bit string
  • the pixel information obtained by decoding only the bit string or a partial decoding of the bit string is analyzed to detect a region for detecting a degradation occurrence region in the video obtained by decoding the bit string.
  • a step of deriving the influence of those degraded areas on a human as a weighting factor a step of estimating an effect of degradation concealment processing that makes it difficult for the decoder to detect degradation in the video when decoding the video, Detecting an IPB attribute of a frame / slice / motion vector in which an error occurs, a step of deriving a value representing the strength of deterioration in a single frame in a video by combining these pieces of information, and deterioration in a single frame Is derived for all frames and integrated to reduce the degradation of all frames due to loss of bitstreams.
  • a subjective quality is estimated when a loss occurs in a bit stream of an encoded video including steps.
  • the present invention is a video quality objective evaluation method for estimating subjective quality representing the quality of video experienced by a viewer when viewing the video, and the video encoded using motion compensation and DCT conversion.
  • the loss occurs in the bit sequence
  • the influence of the scene difference on the subjective quality is considered using the lost bit sequence and the remaining bit sequence, and the subjective quality is estimated without the need for decoding. .
  • the subjective quality is estimated using the spatial or time-series position information of the frame (or slice, macroblock, or sub-macroblock) stored in the lost bit string.
  • the bit sequence of a reference frame (or slice, macroblock, or sub-macroblock) referenced from another frame (or slice, macroblock, or submacroblock) is lost in the motion compensation function, refer to
  • the subjective quality is estimated based on the loss given to the reference frame (or slice, macroblock, or sub-macroblock) due to the loss of the bit string of the previous frame (or slice, macroblock, or submacroblock).
  • the subjective quality deteriorated by the encoding process is set as the maximum value of the subjective quality when the loss of the bit string occurs.
  • a representative value of degradation occurring in a single frame a value obtained by adding the number of blocks in which bit string loss has occurred with weighting is used for objective evaluation of video quality.
  • a representative value of degradation occurring in a single frame is derived for all frames constituting the video, and a value obtained by adding them with weight is used for objective evaluation of video quality.
  • the weight used for the objective evaluation of the video quality is the statistics of the motion vector data, the degradation concealment processing performed by the video playback terminal or the location where the degradation has occurred, the statistics of the DCT coefficient, or the local pixel information, or these Determine according to the combination.
  • the statistics of the motion vector data statistics regarding the magnitude or direction of the motion vectors of all or some of the macroblocks in the frame are used.
  • statistics of DCT coefficients statistics of DCT coefficients of all or a part of macroblocks in a frame are used.
  • the amount of improvement in subjective quality by various deterioration concealment processes is measured in advance by conducting subjective quality evaluation experiments to create a database. At the time of objective evaluation of video quality, refer to the database and tune each deterioration concealment process. Derived subjective quality.
  • the amount of improvement in subjective quality by the deterioration concealment process is estimated using information decoded as a bit string of encoded video or a local pixel signal. Further, as local pixel information, pixel information of a macroblock adjacent to a macroblock included in a lost bit string is used.
  • the evaluation formula is optimized according to the encoding method, frame rate, or video resolution.
  • the inside of the video bit string using the current mainstream motion compensation interframe prediction and DCT transform encoding method mainly includes motion vectors, DCT coefficients, and encoding control information (for example, quantization control).
  • This information is very different for each video scene, so it is possible to evaluate subjective quality in consideration of the video scene by using this information.
  • encoding control information for example, quantization control
  • the subjective quality may be estimated by additionally adding this information.
  • By enabling the estimation of subjective quality for each video being viewed it is possible to provide detailed support for each viewer, and it is efficient and inexpensive at the video service provider's headend for each channel and scene.
  • an objective video quality evaluation independent of the protocol for transmitting the bit string is possible. That is, since it can be extended to communication methods other than IP communication, this method can be applied to video transmitted by various communication methods.
  • FIG. 1 is a block diagram showing the configuration of a video quality objective evaluation apparatus according to the present invention.
  • FIG. 2 is a flowchart showing a schematic operation of each functional unit constituting the video quality objective evaluation apparatus.
  • FIG. 3 is a diagram illustrating a macroblock decoding state in a frame.
  • FIG. 4 is a diagram for explaining an edge estimation method in a loss macroblock.
  • FIG. 5 is a diagram illustrating representative values of edges in a lost macroblock and its adjacent macroblocks.
  • FIG. 6 is a diagram for explaining an edge estimation method in a loss macroblock.
  • FIG. 7 is a diagram showing a three-dimensional display of 8 ⁇ 8 DCT coefficients.
  • FIG. 8 is a diagram showing a two-dimensional display of 8 ⁇ 8 DCT coefficients.
  • FIG. 1 is a block diagram showing the configuration of a video quality objective evaluation apparatus according to the present invention.
  • FIG. 2 is a flowchart showing a schematic operation of each functional unit constituting the video quality objective
  • FIG. 9 is a diagram illustrating a relative position from the motion vector derivation target frame.
  • FIG. 10 is a diagram illustrating an example of projecting a motion vector backward from the motion vector derivation target frame by one frame.
  • FIG. 11 is a diagram illustrating an example of projecting a motion vector forward from a motion vector derivation target frame by one frame.
  • FIG. 12 is a diagram illustrating a situation of a motion vector derivation target macroblock in the vicinity of a lost macroblock.
  • FIG. 13 is a diagram for explaining the direction of a motion vector.
  • FIG. 14 is a diagram for explaining the definition of the attention area.
  • FIG. 15 is a diagram illustrating a coordinate system of macroblocks in a frame.
  • FIG. 16 is a diagram showing a hardware configuration of the video quality evaluation apparatus.
  • FIG. 17 is a diagram showing a deteriorated block and its adjacent blocks in the frame.
  • FIG. 18 is a diagram for explaining the effect estimation method of the degradation concealment process in the time direction.
  • the video quality objective evaluation apparatus includes an information processing apparatus including an interface for inputting a bit string of encoded video, an arithmetic device such as a server device or a personal computer, and a storage device.
  • a video bit string is input and subjective quality corresponding to the input video is output.
  • the hardware configuration includes a reception unit 2, a calculation unit 3, a storage medium 4, and an output unit 5.
  • the H.264 encoding device 6 converts the input video into the H.264 format described later. It is encoded by the H.264 system.
  • the encoded video bit string is communicated as transmission data in the transmission network and transmitted to the video quality objective evaluation apparatus 1.
  • the video quality objective evaluation device 1 receives the transmission data, that is, the encoded bit string at the receiving unit 2. And the function of the calculating part 3 is implement
  • this video quality objective evaluation apparatus 1 is an H.264 that uses motion compensation and DCT conversion.
  • the subjective quality of the video is estimated using the contents of the normal part and the missing part of the encoded video bit sequence.
  • the present invention can be applied to an encoding method using motion compensation and DCT transform.
  • each functional unit has a necessary memory.
  • the degradation occurrence area (position, number) identification function unit F11 scans the bit string of the input encoded video and, when the bit string is defective, determines the position and the number of the macro block where the degradation has occurred in the frame. Specifically, the deterioration information 11a and 11b are output to the deterioration representative value deriving function unit F14 and the weight determination function unit F12, respectively.
  • the deterioration determination area weight determination function unit F12 scans the deterioration information 11b input from the deterioration generation area specifying function unit F11, and the position of the macroblock where the deterioration has occurred, the movement and the pattern of the macroblock existing in the vicinity thereof. The degree of influence of the degraded macroblock on the subjective quality is measured and output to the degradation representative value deriving function unit F14 as the degradation amount information 12a.
  • the deterioration concealment processing specifying function unit F13 switches the weight related to the degree of influence on the subjective quality by the deterioration concealment processing that is databased in advance or dynamically derived by the deterioration concealment processing to be used, and the result is the deterioration concealment processing.
  • Information 13a is output to the deterioration representative value deriving function unit F14.
  • the single frame degradation representative value deriving function unit F14 exists in a single frame based on the degradation information 11a, the degradation amount information 12a, and the degradation concealment processing information 13a, which are outputs from the functional units F11, F12, and F13.
  • a representative value of the strength of deterioration taking into account the influence of all the deteriorated macroblocks is derived and output to the deterioration representative value deriving function unit F15 for all frames as the frame deterioration representative value 14a.
  • the degradation representative value deriving function unit F15 for all frames is based on the frame degradation representative value 14a that is an output from the degradation representative value deriving function unit F14 for a single frame, and is used for degradation of all frames present in the evaluation target video.
  • a representative value of strength is derived, summarized as the strength of deterioration of the entire evaluation target video, and the summed value is derived as a representative value and output to the subjective quality estimation function unit F17 as a representative value of all frame degradation 15a.
  • the subjective quality estimation function unit F16 with respect to encoding degradation derives the subjective quality taking into account only the video degradation due to encoding and outputs it as the encoded subjective quality 16a to the subjective quality estimation function unit F17.
  • the subjective quality estimation function unit F16 sets the subjective quality deteriorated by the encoding process as the maximum value of the subjective quality.
  • the subjective quality estimation function unit F17 performs coding based on the all frame degradation representative value 15a from the degradation representative value derivation function unit F15 of all frames and the encoded subjective quality 16a from the subjective quality estimation function unit F16 for coding degradation.
  • the subjective quality is derived by taking into account the degradation of the image due to the conversion and bit string loss.
  • the function units F11, F12, F13, F14, F15, F16, and F17 have the above-described databases D11, D12, D13, D14, D15, D16, and D17 of coefficients of evaluation formulas used in the respective function units. Comes with each as such.
  • each of the databases D11 to D17 different coefficients are stored for each encoding method, resolution, and frame rate of the evaluation target video for optimizing the evaluation formula. These coefficients may be determined by performing regression analysis with each evaluation formula based on the results of subjective quality evaluation experiments performed in advance, or arbitrary values may be used.
  • each functional unit constituting the video quality objective evaluation device will be described with reference to the block diagram shown in FIG. 1 and the flowchart shown in FIG. Note that the pixel signals and DCT coefficients shown below all relate to luminance. However, the same processing can be applied to the color difference signal.
  • Degradation occurrence region (position, number) identification function unit F11 receives an encoded bit string of video as an input, It is necessary to decode H.264 variable length codes. To do this, H.264 conforms to Reference 1 (ITU-T-H.264,. “Advanced video coding for generic audiovisual services,” Feb. 2000.). H.264 decoder is used. And after decoding, H. In addition to syntax information such as SPS (Sequence Parameter Set) and PPS (Picture Parameter Set) including control information for H.264 encoding, encoding information such as motion vectors and DCT coefficients used in motion compensation and DCT transform encoding Can be acquired for each macroblock or sub-macroblock. Specifically, it follows the specifications described in Reference 1.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • encoding information such as motion vectors and DCT coefficients used in motion compensation and DCT transform encoding Can be acquired for each macroblock or sub-macroblock. Specifically, it follows
  • the function unit F11 When loss occurs in the encoded bit string, the function unit F11 cannot perform normal decoding. Therefore, information such as a motion vector and DCT coefficient for calculating a pixel signal in a macro block and a sub macro block, and encoding Control information cannot be acquired normally.
  • Macro blocks and sub-macros for which there is not enough data to scan and decode the encoded bit string by preparing flags for counting success and failure of decoding in units of macro blocks in the storage area of the video quality objective evaluation device When a flag is set for a block, it is possible to obtain the decoding success / failure status of the macroblock in the frame as shown in FIG. In FIG. 3, the thin frame block indicates decoding success and the thick frame block indicates decoding failure.
  • Blocks 12, 31, and 35 are examples in which information relating to motion compensation and DCT code is lost, and blocks 51 to 57 are examples in which slice coding control information is lost.
  • the 3 can detect the position and number of macroblocks and sub-macroblocks that have deteriorated due to decoding failure, depending on the decoding success / failure situation as shown in FIG. If there is a loss in the encoding control information such as SPS or PPS, all macroblocks of the corresponding sequence (the entire evaluation target video) are lost for SPS, and the corresponding picture (frame or field) for PPS. ) Are considered lost.
  • the number of macroblocks and the shape of the slice in the figure are examples.
  • the IPB attribute of the reference-source macroblock or sub-macroblock is also displayed. Deterioration occurs depending on The attributes of IPB are described in Reference Document 1 above.
  • the intra-frame prediction is H.264.
  • the encoded bit sequence of video and weight ⁇ are output as deterioration information 11a and 11b to deterioration representative value derivation function unit F14 and weight determination function unit F12. .
  • the deterioration determination area weight determination function unit F12 outputs the following weight parameter representing the deterioration occurrence area using the deterioration information 11b as input information.
  • the function of measuring the change in the degree of influence of the degraded macroblock on the subjective quality due to the complexity of the pattern will be described.
  • the pixel signal is H.264.
  • motion vectors and DCT coefficients used in motion compensation and DCT transform encoding can be obtained by applying to the algorithm shown in Reference Document 1 above.
  • pixel signals are acquired only for the macro blocks on the top, bottom, left, and right of the lost macro block.
  • One representative index of picture complexity is the size and direction of edges using a Sobel filter.
  • the presence or absence of an edge in a degraded macroblock fluctuates the subjective quality, it is estimated from the macroblocks adjacent to the degraded macroblock whether or not there are continuous edges for the degraded macroblock.
  • FIG. 4 shows four macroblocks adjacent to the degraded macroblock.
  • one column of pixels a column of pixels represented by white squares in the figure
  • a pixel column behind that one column is used for edge derivation by the Sobel filter.
  • the edge is derived as a quantity having a size and direction, that is, a vector quantity. Therefore, the edge obtained from the edge derivation target pixel sequence of each adjacent macroblock is defined as follows.
  • i is an identifier of an adjacent macroblock (corresponding to macroblock 1 to macroblock 4 in FIG. 4)
  • j is the number of pixels existing at the boundary between the degraded macroblock and the adjacent macroblock
  • m is an edge by the Sobel filter This represents the number of pixels present in the derivation target pixel column.
  • ⁇ is a coefficient stored in the database D12.
  • the operator max is used to output a vector having the maximum size, but an arbitrary statistic such as a minimum value, an average value, or a variance may be used instead.
  • the adjacent macroblock is not used for deriving a representative value (ie, vector E). If the vector E ⁇ i ⁇ cannot be derived from all adjacent macroblocks, the absolute value of the vector E is set to an arbitrary constant (for example, 0) stored in the database 12. As a result, the influence of the complexity of the pattern on the subjective quality of the deteriorated macroblock can be measured for all the deteriorated macroblocks existing in a single frame.
  • the second example shows the case where only the bit string information of the encoded video can be used for the function of measuring the change in the degree of influence on the subjective quality of the degraded macroblock due to the complexity of the pattern.
  • the presence or absence of edges in the degraded macroblocks changes the subjective quality, and there are continuous edges from the macroblock adjacent to the degraded macroblock to the degraded macroblock. Estimate whether or not. Specifically, description will be made with reference to FIGS. 6, 7, and 8.
  • FIG. 6 shows four macroblocks adjacent to the degraded macroblock. Although similar to FIG. 4, each macroblock is composed of pixel information in FIG. 4, whereas it is composed of DCT coefficients in FIG. 6. If each adjacent macroblock in FIG. 6 is a part of an I slice or I frame, the processing described below is executed as it is, but when there is a P attribute or B attribute macroblock in the adjacent macroblock. In the frame, the spatial positions in the frame are exactly the same, and the I-attribute macroblock located at the closest position in time series may be used as an alternative, or the processing may be continued without being replaced.
  • FIG. 7 shows a case where the DCT transform is applied to an 8 ⁇ 8 pixel block.
  • the DCT transform is applied to a 4 ⁇ 4 pixel block
  • both the horizontal frequency and the vertical frequency are An integer value of 1 or more and 4 or less is a variation range.
  • an integer value of 1 to 16 is a variation range for both the horizontal frequency and the vertical frequency. That is, when DCT transformation is applied to a block of n ⁇ n pixels (n is an integer value of 1 or more), an integer value of 1 to n is a variation range for both the horizontal frequency and the vertical frequency.
  • FIG. 8 shows a diagram displaying the horizontal frequency as the x-axis and the vertical frequency as the y-axis in FIG.
  • the DCT coefficient group existing above the DCT coefficient group on the diagonal A where the x-axis and the y-axis are equivalent values is group 1
  • the DCT coefficient group existing below is group 2.
  • Group 1 is a region where the vertical frequency is higher than the horizontal frequency, that is, a region where the horizontal edge is stronger than the vertical edge
  • Group 2 is a region where the horizontal frequency is higher than the vertical frequency. This is an area in which the vertical edge is stronger than the horizontal edge.
  • the coordinates of FIG. 8 are (horizontal frequency, vertical frequency), the DCT coefficient of coordinates (p, q) is Dpq, and the strength of the vertical edge E V (ie, vector E V ) is calculated by the following formula:
  • n in the formula indicates that the macroblock to be edge derived is n ⁇ n.
  • the absolute value of the vector E ⁇ is derived in the adjacent macroblock 1 and the adjacent macroblock 3 in FIG. 6, and the absolute value of the vector Eh is derived in the adjacent macroblock 2 and the adjacent macroblock 4.
  • the strength of these edges is a representative value vector E ⁇ i ⁇ of the edge strength of each adjacent macroblock, and i is an identifier of the adjacent macroblock (1 ⁇ i ⁇ 4).
  • a representative value vector E of the vector E ⁇ i ⁇ derived from each adjacent macroblock is derived as follows.
  • ⁇ is a coefficient stored in the database D12.
  • the operator max is used to output a vector having the maximum size, but an arbitrary statistic such as a minimum value, an average value, or a variance may be used instead.
  • the adjacent macroblock is not used for derivation of the vector E.
  • the absolute value of the vector E is set to an arbitrary constant (for example, 0) stored in the database D12.
  • FIG. 9 Described below is the function of measuring the influence of the macroblock motion size existing around the next deteriorated macroblock on the subjective quality of the deterioration generation area weight determination function unit F12.
  • the influence on the subjective quality due to the magnitude of the motion is determined based on the representative value of the motion vector, and a method for deriving the representative value of the motion vector will be described with reference to FIGS. 9, 10, 11, and 12.
  • FIG. 9 Described below is the function of measuring the influence of the macroblock motion size existing around the next deteriorated macroblock on the subjective quality of the deterioration generation area weight determination function unit F12.
  • the influence on the subjective quality due to the magnitude of the motion is determined based on the representative value of the motion vector, and a method for deriving the representative value of the motion vector will be described with reference to FIGS. 9, 10, 11, and 12.
  • any two reference frames used for derivation of motion vectors can be selected in units of macroblocks and sub-macroblocks, not limited to the front and rear. In principle, this can be applied to bidirectional frames of MPEG2 and MPEG4. Therefore, normalization is performed so that the size of the motion vector set for each macroblock / sub-macroblock can be compared for each block, and each macroblock / subframe is placed one frame forward and one frame behind the motion vector derivation target frame. Project the motion vector of the macroblock. Specific processing will be described with reference to FIGS.
  • FIG. 10 shows a case where the reference frame of the t-th block MBst in the motion vector derivation target frame s is behind (r + 1) frames of the frame s. As shown in FIG. 10, the motion vector is derived from the motion vector derivation target frame s onto the reference frame.
  • vector MV st there are present (denoted as vector MV st), a vector MV st as follows, projected onto the vector MV 'st present from deriving target frame s of the motion vector in one frame behind on the frame.
  • FIG. 11 shows a case where the reference frame of the t-th block MB st in the motion vector derivation target frame s is ahead of the (r + 1) frame of the frame s.
  • a motion vector MV st exists on the reference frame from the motion vector derivation target frame s, and the vector MV st is a vector one frame forward from the motion vector derivation target frame s as follows. Project to MV'st.
  • the motion vector set for every macroblock / sub-macroblock t (1 ⁇ t ⁇ x) of the motion vector derivation target frame s can be projected onto a vector on s ⁇ 1 frame. It becomes possible. Where x is the number of blocks in the frame s. If there are two reference frames of the motion vector derivation target frame s, the motion vectors projected by the above processing for both reference frames are derived, and the average vector is calculated for each block of the motion vector derivation target frame s. Let it be MV'st .
  • an average of the magnitudes of the vectors which are statistics of the motion vector derivation target frame s, is derived using the following equation.
  • various statistics such as the maximum value, the minimum value, the standard deviation, and the variance can be used as alternatives. Also in the following formula
  • the motion vector derivation target macroblock near the loss macroblock is shown, the thin frame block indicates decoding success, and the thick frame block indicates decoding failure)
  • the same processing as that for deriving the motion vector statistics of the entire frame is performed, and representative values of the motion vectors of the 24 macroblocks
  • T is the number of macroblocks degraded in frame s.
  • ⁇ and ⁇ are coefficients stored in the database D12.
  • the average calculation by ave in the equation can be replaced with the maximum value, the minimum value, and other statistics.
  • M weight is an arbitrary constant stored in the database D12 (for example, 1). If the macroblocks and sub-macroblocks required for the calculation are deteriorated, their presence is ignored, and the above statistics are derived from the existing macroblocks and sub-macroblocks.
  • the degree of influence of the occurrence position of the next degraded macroblock on the subjective quality of the degraded macroblock is derived. Details are shown in FIG. As shown in FIG. 14, when a central region having a vertical and horizontal length of 50% is set as a region of interest, and the deteriorated macroblock is on the region of interest, the subjective position of the degraded macroblock is deteriorated.
  • c 1 and c 2 are constants stored in the database D12.
  • a weight C representing the degree of influence of the degraded macroblock occurrence position on the subjective quality of the degraded macroblock is calculated for each macroblock of the evaluation target video.
  • the degradation determination area weight determination function unit F12 also derives the influence of the degradation locality on the subjective quality.
  • the coordinate system of the macro block is as shown in FIG. 15 (in FIG. 15, the thin frame block indicates decoding success, and the thick frame block indicates decoding failure).
  • the coordinates are taken and the coordinates of each macroblock are expressed as (X, Y).
  • the sample variance values of the X and Y coordinates of the macroblock group in which the loss has occurred are derived, and the influence of the locality of deterioration on the subjective quality is calculated by the following equation.
  • L fL ( ⁇ x , ⁇ y )
  • fL ( ⁇ x , ⁇ y ) ⁇ x ⁇ ⁇ y
  • any calculation other than multiplication may be performed.
  • the locality L of deterioration is calculated for each frame of the evaluation target video.
  • the vector E, M weight , ⁇ MVN , C, and L in each block derived by the weight determination function unit F12 of the degradation occurrence region are used as the degradation amount information 12a to the degradation representative value derivation function unit F14 of a single frame. Output.
  • each method of degradation concealment processing to be evaluated and the case where the degradation concealment processing is not applied are applied when the scene type and the bit string loss pattern are changed.
  • an absolute scale that evaluates the subjective quality of the degraded video as an absolute value is used.
  • MOS efg includes scene e (1 ⁇ e ⁇ S), loss pattern f (1 ⁇ f ⁇ M), degradation concealment method g (0 MOS in the case where ⁇ g ⁇ N) is applied.
  • MOS Mean Opinion Score
  • the subjective quality acquired in this way is calculated for the MOS acquired under each condition, the ratio W efg to the MOS when the deterioration concealment characteristic is not applied.
  • W efg is the subjective quality improvement of degradation concealment scheme g when scene e (1 ⁇ e ⁇ S), data loss pattern f (1 ⁇ f ⁇ M), degradation concealment scheme g (0 ⁇ g ⁇ N) is applied.
  • the subjective quality improvement effect is averaged for each scene / data loss pattern. Specifically, the following formula is obtained.
  • the subjective quality evaluation scale includes a degradation scale (DMOS or the like) represented by a difference from the quality of the original video, but as shown in Tables 3 and 4, it is derived in the same manner as the absolute scale.
  • DMOS degradation scale
  • W g may be selected according to the type of quality evaluation scale to be used.
  • Each coefficient used above is a coefficient stored in the database D13.
  • the deterioration concealment processing specifying function unit F13 uses a bit stream of encoded video and information decoded as a pixel signal for each evaluation target video in addition to using a database constructed according to the result of the subjective quality evaluation experiment. A method of dynamically estimating the influence of deterioration concealment processing on subjective quality may be used.
  • the macroblock in which the complexity of the picture in the weight determination function unit F12 of the deterioration occurrence area has deteriorated The weight W of the deterioration concealment characteristic is derived by the following equation using the vector E derived in the first or second case of the function for measuring the degree of influence on the subjective quality.
  • ⁇ is a coefficient stored in the database D13 or D12, and W is derived for each macroblock. Only in this case, W may be calculated by the deterioration determination area weight determination function unit F12 and output to the deterioration representative value derivation function unit F14 of a single frame as the deterioration amount information 12a. In this way, W g or W in each macroblock derived by the deterioration concealment processing specifying function unit F13 is output to the deterioration representative value derivation function unit F14 of a single frame as the deterioration concealment processing information 13a.
  • a degradation representative value taking into account the influence of all degraded macroblocks existing in a frame and the locality of the degradation are output as a frame degradation representative value 14a. Specifically, it is derived by the following equation using a weight function.
  • ⁇ is a coefficient stored in the database D14.
  • ⁇ is a weight determined by the deterioration occurrence area (position, number) identification function unit F11 and determined by whether the reference block is a P attribute, a B attribute, or an I attribute.
  • WF 1 (w) u 1 * log (w ⁇ u 2 ) + u 3
  • u 1 , u 2 , u 3 are coefficients stored in the database D14.
  • the degradation representative value deriving function unit F14 for a single frame optionally includes a degradation occurrence region (position, number) identification function unit F11, a degradation occurrence region weight determination function unit F12, and an output 11a of the degradation concealment processing identification function unit F13.
  • a degradation representative value DS that takes into account the effects of all degraded macroblocks present in a slice based on 12a and 13a. Specifically, it is derived by the following equation using the weight function WF 1 (w).
  • SN is the total number of degraded macroblocks present in the degraded slice, instead of W g
  • the frame deterioration representative value 14a is output to the deterioration representative value deriving function unit F15 for all frames.
  • the degradation representative value D of the evaluation target video is output as the all-frame degradation representative value 15a.
  • the deterioration representative value D is derived by the following equation using the weight function WF 2 (w).
  • L f is the influence that the locality of deterioration in the frame f has on the subjective quality, which is derived by the weight determination function unit F12 of the deterioration occurrence area.
  • the weight function WF 2 (w) can be an arbitrary function, but here, the following function is used as an example.
  • WF 2 (w) h 1 * log (w ⁇ h 2 ) + h 3
  • h 1 , h 2 and h 3 are coefficients stored in the database D15
  • F is the total number of frames existing in the evaluation target video.
  • D S may be used instead of D f , and in this case, the degradation representative value D of the evaluation target video is derived by the following equation.
  • ASN is the total number of slices existing in the evaluation target video. Then, the all-frame deterioration representative value 15a is output to the subjective quality estimation function unit F17.
  • the subjective quality estimation function unit F16 for coding degradation is a function for deriving the subjective quality E coded taking into account only video degradation due to coding, and this function unit F16 outputs any conventional method as the coded subjective quality 16a. Is available. E coded may be stored in the database D16 and output as the encoded subjective quality 16a.
  • the subjective quality estimation function unit F17 uses the function ev (x, y) to derive the subjective quality E all by the following equation.
  • E all ev (E coded , D)
  • the function ev (v 1 , v 2 ) can be any function, but here, the following function is used as an example.
  • ev (v 1 , v 2 ) l 1 (v 1 / v 2 ) + l 2
  • l 1 and l 2 are coefficients stored in the database D17.
  • W g ⁇ 1 ⁇ W gS ⁇ W gT + ⁇ 2 ⁇ W gS + ⁇ 3 ⁇ W gT
  • ⁇ 1 , ⁇ 2 , and ⁇ 3 are coefficients stored in the database D13.
  • W gS representing the influence of the deterioration concealment process in the spatial direction
  • the number of macroblocks and the slice shape in the frame shown in FIG. 17 are examples.
  • FIG. 17 surrounding macroblocks adjacent to the degraded area in a single frame by vertical and horizontal licking (in FIG. 17, macroblocks 13, 14, 15, 23 , 25 , 26 , 33 , 36, 43, 44, 45, 46).
  • the similarity to all adjacent surrounding macroblocks is calculated.
  • the mean square error of the luminance information of all pixels of two macroblocks is used as the similarity.
  • similarity derivation is not limited to this method, and all known similarity derivation algorithms can be used.
  • the similarity is derived by the following equation.
  • P 1i and P 2i are pixels at the same spatial position in the macroblock 1 and the macroblock 2.
  • the similarity to all the neighboring surrounding macroblocks is derived (for example, for the surrounding macroblock 14 in FIG. Do).
  • the similarity derived between all adjacent surrounding macroblocks is averaged, and the value is taken as the similarity representative value of the surrounding macroblock, and the similarity representative value of all surrounding macroblocks is On average, the similarity S frame of a single frame is assumed. Further, the number of macroblocks deteriorated in the frame is N frame, and W gS is derived by the following expression.
  • ⁇ 4 , ⁇ 5 , ⁇ 6 , ⁇ 7 , and ⁇ 8 are coefficients stored in the database D13.
  • block 24 represents a lost block
  • blocks 13, 14, and 34 represent a part of surrounding macroblocks
  • macroblocks 13, 14, 23, and 24 on the left side in the figure represent frames.
  • Part of i-1 the central macroblocks 13, 14, 23, and 24 in the figure represent part of the frame i
  • the right macroblocks 13, 14, 23, and 24 in the figure represent part of the frame i + 1.
  • the motion vector magnitude and orientation are detected for each of the surrounding macroblocks of frame i, and at the same time, spatially identical to the positions of the surrounding macroblocks of frame i for frame i-1 and frame i + 1. Detects the direction and magnitude of the motion vector. This is done according to reference 1.
  • the inner product of the motion vectors of the surrounding macroblocks of the frame i is calculated for the motion vectors of the frame i ⁇ 1 and the frame i + 1.
  • IP 14i and IP 14 (i +1) is derived.
  • AIP 14i is derived by averaging IP 14i and IP 14 (i + 1) .
  • the size of each vector when calculating the inner product may be uniformly 1.
  • AIP ⁇ i ( ⁇ is the surrounding macroblock number) is calculated for all surrounding macroblocks in frame i, and the average value of AIP ⁇ i of all surrounding macroblocks is used as the deterioration concealment process in the time direction of frame i.
  • W gT AIP i representing the influence of
  • the motion vector of the macroblock is Calculate W gT as a zero vector.
  • the motion vector for calculating the inner product is calculated from the frames before and after the deterioration, but the motion vector for calculating the inner product may be calculated from any two frames. Note that W gS and W gT are values recalculated for each frame in which degradation has occurred.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　符号化された映像のビット列の内部に存在し、シーンの違いを表すパラメータである動きベクトルやＤＣＴ係数、または符号化された映像のビット列から部分的に復号した画素情報や符号化制御情報を映像品質客観評価に用いる。その結果、全映像のビット列を復号して得た画素情報を用いて映像品質客観評価を行った場合に比べて、非常に多くの計算量を要する画素情報への復号処理の量を節約できるため、安価な計算機を利用して短時間で映像品質客観評価が可能になる。

Description

映像品質客観評価方法、映像品質客観評価装置、及びプログラム
　本発明は、映像データの損失による映像品質の劣化を対象とした映像品質客観評価技術に関し、特に人間が映像を見て体感した品質（主観品質）を評価する場合に、多数の被験者が特殊な実験設備内で、実際に映像を視聴して品質を評価する主観品質評価実験を行うことなく、ユーザが視聴する映像の符号化ビット列情報から客観的に主観品質を導出する映像品質客観評価方法、映像品質客観評価装置、及びプログラムに関する。
　従来では、符号化された映像のビット列を保存もしくは伝送する際に、ビット列に欠損が発生した場合、映像符号化やＩＰ通信のパラメータ情報を用いて客観的に映像品質評価を行う技術（増田征貴，富永聡子，林孝典，“無効フレーム率を用いたインサービス映像品質管理法"，信学技報，CQ2005-59，pp.55-60，Sept. 2005．（文献１）、および、ITU-T G.1070,“Opinion model for video-telephony applications,” Apr. 2007．（文献２））や、符号化された映像のビット列を画素信号まで復号し、画素情報を基に客観的に映像品質評価を行う技術（ITU-T J.144,“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference,”Feb. 2000．（文献３））が検討されてきた。
　文献１や文献２に記載の技術では、評価者が想定する数シーンの平均的な主観品質の推定を行う。しかし実際の映像ではシーン毎にビット列の構成が大きく異なるため、ビット列に損失が発生した場合には、映像のシーンの違いにより主観品質が大きく変動する。従って文献１や文献２の技術では映像シーンの違いを考慮することが難しく良好な推定精度の実現には問題がある。更にＩＰ通信のパラメータ情報を使って主観品質の推定を行う場合、ＩＰ通信以外のプロトコルを利用すると、主観品質の推定が不可能となる。
　また、文献３では、符号化された映像のビット列を復号した映像の画素情報を用いて主観品質の推定を試みているが、画素情報への復号には莫大な計算量を要するためリアルタイムに主観品質を推定するには非常に多くの演算量を必要とし、したがって１台当たりの製造コストが高騰することから、低コストが要求されるユーザの映像再生端末（セットトップボックス）等への実装が難しくなる。
　このような課題を解決するために本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビット列に損失が発生した場合に、ビット列のみ、もしくはこれを部分的にデコードした画素情報を解析して、ビット列をデコードして得られる映像内における劣化発生領域を検出する領域を検出するステップと、それらの劣化領域が人間に与える影響を重み係数として導出するステップと、映像をデコードする際にデコーダが映像内の劣化を検知しにくくする劣化隠蔽処理による効果を推定するステップと、劣化が発生するフレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、これらの情報を総合して映像内の単一フレームにおける劣化の強さを表す値を導出するステップと、単一フレームにおける劣化の強さを，全てのフレームについて導出して，それらを統合してビット列の損失による全フレームの劣化の代表値を導出するステップと，符号化劣化に対する主観品質を推定するステップと、符号化劣化に対する主観品質とビット列の損失による全フレームの劣化の代表値を合わせて総合的な主観品質を推定するステップを備える符号化された映像のビット列に損失が生じた場合の主観品質を推定するものである。
　すなわち、本発明は、視聴者が映像を見た時に体感する映像の品質を表す主観品質の推定を行う映像品質客観評価方法であって、動き補償とＤＣＴ変換を利用して符号化された映像のビット列に損失が生じた場合に、損失したビット列と残ったビット列を用いてシーンの違いが主観品質に及ぼす影響を考慮し、かつデコードを必要とせずに主観品質を推定することを特徴とする。
　ここで、ビット列の損失が発生した場合に、失われたビット列で保存されていたフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）の空間もしくは時系列の位置情報を用いて主観品質を推定する 。
　また、動き補償機能において他のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）から参照される参照先フレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列に損失が生じている場合は、参照先のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列の損失により参照元のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）に与えられる損失に基づいて主観品質を推定する。
　また、符号化処理により劣化した主観品質を、ビット列の損失が発生した場合の主観品質の最大値とする。
　また、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が起きたブロックの数を重み付きで加算した値を映像品質の客観評価に用いる。
　この場合、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで加算した値を映像品質の客観評価に用いる。
　ここで、映像品質の客観評価に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定する。
　なお、動きベクトルデータの統計量としては、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を使用する。
　また、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を使用する。
　また、各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化し、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出する。
　また、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、劣化隠蔽処理による主観品質の改善量を推定する。
　また、局所的な画素情報として、損失したビット列中に含まれるマクロブロックに隣接するマクロブロックの画素情報を用いる。
　また、本発明は、ビット列の損失が発生した際に、失われたビット列で保存されていた情報が符号化の制御情報である場合は、その符号化制御情報が主観品質に与える影響の度合いに応じて主観品質を推定する。
　また、映像品質の客観評価を行う時に符号化方式またはフレームレートまたは映像解像度に応じて評価式の最適化を行う。
　このように、現在主流である動き補償フレーム間予測とＤＣＴ変換による符号化方式を用いた映像のビット列の内部は、主に動きベクトルやＤＣＴ係数、また符号化の制御情報（例えば量子化をコントロールする量子化係数／パラメータ等）から構成され、これらの情報は映像のシーン毎にその内容が大きく異なるため、これらの情報を利用することにより映像シーンの違いを考慮した主観品質の評価が可能になる。更にビット列に埋め込まれた情報をそのまま利用し、画素情報を利用しない場合には、取得に莫大な計算量を要する画素情報を必要とせず計算量を大きく低減することが可能になる。また映像のビット列を部分的にデコードした画素情報を取得するには、ビット列に埋め込まれた情報のみを用いる場合に比べて少々負荷が増加するが、映像全体をデコードする場合に比べると大きく計算量を節約できるため、映像シーンの違いを画素情報として考慮するために、この情報を付加的に加えて主観品質の推定を行っても良い。これにより安価な計算機を利用して短時間で精度の良い映像品質客観評価が可能になり、例えば映像サービスにおいて視聴者毎に見ている映像は一般的に異なるが、これらの違いを考慮したが見ている映像毎に主観品質の推定が可能となることで、視聴者毎にきめ細かい品質に関するサポートが可能となることや、映像サービス事業者のヘッドエンドで効率的かつ安価かつチャンネル毎・シーン毎に映像の主観品質を管理すること等が可能になる。更に映像のビット列を取得できれば良いので、ビット列を伝送するプロトコルに依存しない映像品質客観評価が可能である。つまりＩＰ通信以外の通信方式にも拡張可能であるため、様々な通信方式で伝送される映像に対して本方式は適用が可能である。
　本発明では、符号化ビット列に欠損が発生した場合に、符号化された映像のビット列情報を利用するようにしたことにより、主観品質の推定を効率的かつ精度良く行うことが可能となり、その結果、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、ユーザが感じている主観品質を大規模かつリアルタイムに取得することが可能となる。
図１は、本発明に係る映像品質客観評価装置の構成を示すブロック図である。 図２は、上記映像品質客観評価装置を構成する各機能部の概略動作を示すフローチャートである。 図３は、フレーム内のマクロブロック復号状況を示す図である。 図４は、損失マクロブロック内のエッジ推定方法を説明する図である。 図５は、損失マクロブロックとその隣接マクロブロックにおけるエッジの代表値を表す図である。 図６は、損失マクロブロック内のエッジ推定方法を説明する図である。 図７は、８×８ＤＣＴ係数の３次元表示を示す図である。 図８は、８×８ＤＣＴ係数の２次元表示を示す図である。 図９は、動きベクトル導出対象フレームからの相対位置を示す図である。 図１０は、動きベクトルを動きベクトル導出対象フレームから１フレーム後方への射影例を示す図である。 図１１は、動きベクトルを動きベクトル導出対象フレームから１フレーム前方への射影例を示す図である。 図１２は、損失マクロブロック付近の動きベクトル導出対象マクロブロックの状況を示す図である。 図１３は、動きベクトルの向きを説明する図である。 図１４は、注目領域の定義を説明する図である。 図１５は、フレーム内のマクロブロックの座標系を表す図である。 図１６は、上記映像品質評価装置のハードウェア構成を示す図である。 図１７は、フレーム内の劣化したブロックとその隣接ブロックを示す図である。 図１８は、時間方向の劣化隠蔽処理の効果推定方法を説明する図である。
　以下、本発明の実施の形態について図を参照して説明する。
（実施の形態１）
　本実施の形態の映像品質客観評価装置は、符号化映像のビット列を入力するためのインターフェースと、サーバ装置やパーソナルコンピュータなどの演算装置と、記憶装置とからなる情報処理装置から構成され、符号化映像のビット列を入力し、入力映像に対応した主観品質を出力するものである。そのハードウェア構成としては、図１６に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図１６に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送データとして通信され映像品質客観評価装置１に送信される。
　映像品質客観評価装置１は、その伝送データ、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の機能を実現する。すなわち、演算部３は受信部２で受信されたビット列の情報を利用して各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
　ここで、演算部３の演算処理機能としては、具体的には、図１に示すように、係数データベースＤ１１～Ｄ１７と、劣化発生領域特定機能部Ｆ１１と、劣化発生領域の重み判定機能部Ｆ１２と、劣化隠蔽処理特定機能部Ｆ１３と、単一フレームの劣化代表値導出機能部Ｆ１４と、全フレームの劣化代表値導出機能部Ｆ１５と、符号化劣化に対する主観品質推定機能部Ｆ１６と、主観品質推定機能部Ｆ１７とがある。
　ここで、この映像品質客観評価装置１では、動き補償とＤＣＴ変換を用いるＨ．２６４方式の符号化された映像のビット列に欠損が生じた場合に、符号化された映像のビット列の正常部分と欠損部分の内容を利用して映像の主観品質の推定を行う。原理的には動き補償とＤＣＴ変換を用いる符号化方式に応用可能である。
　以下、図１を参照して、この映像品質客観評価装置を構成する各機能部の機能について具体的に説明する。各機能部には必要なメモリを備えている。
　劣化発生領域（位置、数）特定機能部Ｆ１１は、入力された符号化映像のビット列を走査してビット列に欠損が生じている場合に、フレーム内で劣化が発生したマクロブロックの位置と数を特定して劣化情報１１ａと１１ｂをそれぞれ劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
　劣化発生領域の重み判定機能部Ｆ１２は、劣化発生領域特定機能部Ｆ１１から入力した劣化情報１１ｂを走査して、劣化が発生したマクロブロックの位置や、その周辺に存在するマクロブロックの動きや絵柄の複雑さから、劣化したマクロブロックの主観品質への影響度を測定し、劣化量情報１２ａとして劣化代表値導出機能部Ｆ１４に出力する。
　劣化隠蔽処理特定機能部Ｆ１３は、予めデータベース化された、もしくは動的に導出された劣化隠蔽処理による主観品質への影響度に関する重みを、利用する劣化隠蔽処理によって切り替え、その結果を劣化隠蔽処理情報１３ａとして劣化代表値導出機能部Ｆ１４に出力する。
　単一フレームの劣化代表値導出機能部Ｆ１４は、各機能部Ｆ１１、Ｆ１２，Ｆ１３からの出力である劣化情報１１ａ，劣化量情報１２ａ，劣化隠蔽処理情報１３ａに基づいて、単一フレームに存在する劣化した全てのマクロブロックの影響を加味した劣化の強さの代表値を導出して、フレーム劣化代表値１４ａとして全フレームの劣化代表値導出機能部Ｆ１５に出力する。
　全フレームの劣化代表値導出機能部Ｆ１５は、単一フレームの劣化代表値導出機能部Ｆ１４からの出力であるフレーム劣化代表値１４ａに基づいて、評価対象映像中に存在する全てのフレームの劣化の強さの代表値を導出し、評価対象映像全体の劣化の強さとしてまとめ、そのまとめた値を代表値として導出して全フレーム劣化代表値１５ａとして主観品質推定機能部Ｆ１７に出力する。
　符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質を導出して符号化主観品質１６ａとして主観品質推定機能部Ｆ１７に出力する。この場合、主観品質推定機能部Ｆ１６は、符号化処理により劣化した主観品質を主観品質の最大値とする。主観品質推定機能部Ｆ１７は、全フレームの劣化代表値導出機能部Ｆ１５からの全フレーム劣化代表値１５ａと、符号化劣化に対する主観品質推定機能部Ｆ１６からの符号化主観品質１６ａに基づいて、符号化とビット列の損失による映像の劣化を加味した主観品質を導出する。
　なお、各機能部Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７には、各機能部でそれぞれ利用する評価式の係数のデータベースＤ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ１５，Ｄ１６，Ｄ１７が前述したようにそれぞれ付属している。各データベースＤ１１～Ｄ１７には、評価式の最適化を行うための評価対象映像の符号化方式や解像度やフレームレート毎に異なる係数が格納されている。これらの係数は、予め実施された主観品質評価実験の結果に基づいて、各評価式で回帰分析を実施することで決定しても良いし、任意の値を利用しても良い。
　次に、図１に示すブロック図と図２に示すフローチャートを中心とし他の図も参照しながら、本映像品質客観評価装置を構成する各機能部の詳細な動作を説明する。なお、以下で示す画素信号やＤＣＴ係数は全て輝度に関するものとする。ただし、色差信号について同様の処理を適用することもできる。
　劣化発生領域（位置、数）特定機能部Ｆ１１では、映像の符号化ビット列を入力として、まずＨ．２６４方式の可変長符号を復号する必要がある。これを行うためには、参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000．）に準拠するＨ．２６４復号器を利用する。そして、復号後には、Ｈ．２６４符号化の制御情報を含むＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）等のシンタックス情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数等の符号化情報が、マクロブロックもしくはサブマクロブロック毎に取得できる。具体的には参考文献１に記載されている仕様に従う。
　符号化されたビット列に損失が発生した場合には機能部Ｆ１１で正常に復号できなくなるため、マクロブロックやサブマクロブロックで画素信号を計算するための動きベクトルやＤＣＴ係数等の情報、また符号化制御情報が正常に取得できなくなる。映像品質客観評価装置の記憶領域にマクロブロック単位の復号の成功と失敗を集計するためのフラグを用意し、符号化ビット列を走査して復号するために十分なデータが存在しないマクロブロックやサブマクロブロックについてはフラグを立てると、図３に示すようなフレーム内のマクロブロックの復号成否状況を得ることができる。図３では、細枠ブロックはデコード成功、太枠ブロックはデコード失敗を表す。ブロック１２，３１，３５は動き補償やＤＣＴ符号に関する情報が消失、ブロック５１～５７はスライス符号化制御情報が消失した例である。
　図３に示すような復号成否状況により、復号を失敗して劣化したマクロブロックやサブマクロブロックの位置と数を検出できる。また、ＳＰＳやＰＰＳなどの符号化制御情報に損失が起きている場合は、ＳＰＳについては対応するシーケンス（評価対象映像全体）の全てのマクロブロックが損失、ＰＰＳについては対応するピクチャ（フレームもしくはフィールド）の全てのマクロブロックが損失したとみなす。図中のマクロブロックの数とスライスの形状は一例である。
　更に、Ｈ．２６４方式の動き推定機能を使って、復号を失敗したマクロブロックやサブマクロブロックが他のマクロブロックやサブマクロブロックから参照されている場合、参照元のマクロブロックやサブマクロブロックにもそのＩＰＢ属性に応じて劣化が生じる。ＩＰＢの属性については上記参考文献１に記載されている。参照先のマクロブロックやサブマクロブロックの復号に失敗している場合、参照元のマクロブロックがＰフレームの場合は予め係数データベースＤ１１に格納されている劣化重みε＝ａ1、Ｂフレームの場合は劣化重みε＝ａ2を選択する。これに加えてＩフレームではフレーム内予測がＨ．２６４では用いられるため、同様に参照先のマクロブロックやサブマクロブロックの復号が失敗している場合、劣化重みε＝ａ3を選択し、予測を使わない場合は劣化重みε＝ａ4を選択する。これらの処理により、評価対象映像中で欠損が生じたマクロブロックやサブマクロブロックの特定が可能となる。
　この段階で、サブマクロブロック単位で損失が発生している場合は、そのサブマクロブロックを包含するマクロブロック単位で損失が発生しているとみなす。復号を失敗して劣化したマクロブロックの位置と数に加えて、映像の符号化ビット列、重みεを劣化情報１１ａ，１１ｂとして劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
　劣化発生領域の重み判定機能部Ｆ１２については、劣化情報１１ｂを入力情報として、以下に示す劣化発生領域を表す重みパラメータを出力する。まず絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能から説明する。
　第一に部分的な画素信号の取得が可能である場合について示す。画素信号は、Ｈ．２６４符号化の制御情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数を上記の参考文献１で示されるアルゴリズムに適用して取得できる。
　具体的には損失したマクロブロックの上下左右のマクロブロックのみ画素信号の取得をし、これは上記参考文献１に従って行う。絵柄の複雑さの代表的な指標の一つとしてＳｏｂｅｌフィルタを利用したエッジの大きさと方向が挙げられる。ここでは劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。
　具体的には図４と図５を用いて説明する。まず図４では劣化したマクロブロックと隣接する４つのマクロブロックを示している。各隣接マクロブロックには、劣化したマクロブロックとの境界に１列の画素（図中、白い四角で表す画素の列）が並んでおり、その更に１列奥の画素列（劣化したマクロブロックと隣接マクロブロックの境界から数えて２列目の隣接マクロブロック内の画素列：図中黒い四角で表す画素の列）をＳｏｂｅｌフィルタによるエッジ導出に用いる。Ｓｏｂｅｌフィルタを利用するとエッジは大きさと方向を持つ量、つまりベクトル量として導出されるため、各隣接マクロブロックのエッジ導出対象画素列で求めたエッジを以下のように定義する。
Figure JPOXMLDOC01-appb-M000001
　ただし、ｉは隣接マクロブロックの識別子（図４のマクロブロック１～マクロブロック４に相当）、ｊは劣化したマクロブロックと隣接マクロブロックの境界に存在する画素数、ここでｍはＳｏｂｅｌフィルタによるエッジ導出対象画素列に存在する画素数を表す。これより各隣接マクロブロックにおいて、Ｓｏｂｅｌフィルタによるエッジ導出対象画素列で導出したエッジの代表値
Figure JPOXMLDOC01-appb-M000002
　を以下のように導出する。
Figure JPOXMLDOC01-appb-M000003
　ただし、演算子
Figure JPOXMLDOC01-appb-M000004
　は、自然数Ａ1～Ａmを参照して最大となる値を出力し、θは図５に示すように劣化したマクロブロックと隣接マクロブロックの境界面（図中黒線で表している）に対するベクトルＥ｛i｝jの角度である。ここでは、演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。
　更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値（即ち、ベクトルＥ）を以下のように導出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックは代表値（即ち、ベクトルＥ）の導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベース１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さによる、劣化したマクロブロックの主観品質へ与える影響を測定できる。
　絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能について、第二に符号化された映像のビット列情報のみが利用できる場合を示す。第一の場合と同様に、劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。具体的には図６、図７、図８を用いて説明する。
　図６では劣化したマクロブロックと隣接する４つのマクロブロックを示している。図４と類似しているが、図４では各マクロブロックは画素情報で構成されていたのに対し、図６ではＤＣＴ係数で構成されている。図６の各隣接マクロブロックがＩスライスやＩフレームの一部であれば以下に記載の処理をそのまま実行するが、隣接マクロブロックの中にＰ属性またはＢ属性のマクロブロックが存在している場合は、フレーム内の空間的な位置は全く同じで、最も時系列で近い位置にあるＩ属性のマクロブロックを代替として用いてもよいし、代替せずそのまま処理を続行しても良い。
　各マクロブロックのＤＣＴ係数の例は具体的には図７のように配置されている。ここで、ｘ軸が水平方向周波数を表し、ｙ軸が垂直方向周波数を表し、ｚ軸にＤＣＴ係数が表わされている。なお図７は８×８画素のブロックに対してＤＣＴ変換を適用した場合を示しており、４×４画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上４以下の整数値が変動範囲となる。また１６×１６画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上１６以下の整数値が変動範囲となる。つまりｎ×ｎ画素（ｎは１以上の整数値）のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上ｎ以下の整数値が変動範囲となる。
　図８に、図７のｘ軸である水平方向周波数、ｙ軸である垂直方向周波数を表示した図を示す。図８では、ｘ軸とｙ軸が同等の値になる対角線Ａ上のＤＣＴ係数群の上方に存在するＤＣＴ係数群をグループ１、下方に存在するＤＣＴ係数群をグループ２とする。グループ１は垂直方向周波数が水平方向周波数より高くなる領域、つまり横方向のエッジが縦方向のエッジよりも強めとなる領域であり、グループ２は水平方向周波数が垂直方向周波数より高くなる領域、つまり縦方向のエッジが横方向のエッジよりも強めとなる領域である。
　図８の座標を（水平方向周波数、垂直方向周波数）として、座標（ｐ，ｑ）のＤＣＴ係数をＤｐｑとし、以下の計算式で縦方向のエッジＥV（即ち、ベクトルＥV）の強さ
Figure JPOXMLDOC01-appb-M000006
　と、横方向のエッジＥｈ（即ち、ベクトルＥｈ）の強さであるベクトルＥｈの絶対値を計算する。ただし式中のｎは、エッジ導出対象のマクロブロックがｎ×ｎであることを示している。
Figure JPOXMLDOC01-appb-M000007
　このエッジの強さの導出処理を使って、図６の隣接マクロブロック１と隣接マクロブロック３ではベクトルＥνの絶対値導出を行い、隣接マクロブロック２と隣接マクロブロック４ではベクトルＥｈの絶対値導出を行う。これらのエッジの強さを各隣接マクロブロックのエッジの強さの代表値ベクトルＥ｛i｝とし、ｉは隣接マクロブロックの識別子（１≦ｉ≦４）とする。更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値ベクトルＥを以下のように導出する。
Figure JPOXMLDOC01-appb-M000008
　ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックはベクトルＥの導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベースＤ１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さが劣化したマクロブロックの主観品質へ与える影響の大きさを測定できる。
　劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの大きさが、主観品質へ与える影響を測定する機能を説明する。動きの大きさによる主観品質への影響は動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図９、図１０、図１１、図１２を用いて説明する。
　まずフレーム全体の動きベクトルの代表値の導出方法を示す。図９に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。これは原理的にはＭＰＥＧ２やＭＰＥＧ４の双方向フレームに応用可能である。そこでマクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを各ブロックについて比較可能とするために正規化を行い、動きベクトルの導出対象フレームの前方、後方１フレームに各マクロブロック・サブマクロブロックの動きベクトルを射影する。具体的な処理を図１０、図１１で説明する。
　図１０は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢｓｔの参照フレームが、フレームｓの（ｒ＋１）フレーム後方にある場合を示している。図１０のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトル
Figure JPOXMLDOC01-appb-M000009
　が存在しており（ベクトルＭＶstと表記）、以下のようにしてベクトルＭＶstを、動きベクトルの導出対象フレームｓから１フレーム後方のフレーム上に存在するベクトルＭＶ’stに射影する。
Figure JPOXMLDOC01-appb-M000010
　また図１１は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢstの参照フレームが、フレームｓの（ｒ＋１）フレーム前方にある場合を示している。図１１のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトルＭＶstが存在しており、以下のようにしてベクトルＭＶstを動きベクトルの導出対象フレームｓから１フレーム前方へのベクトルＭＶ’stに射影する。
Figure JPOXMLDOC01-appb-M000011
　以上の処理により、動きベクトルの導出対象フレームｓの全てのマクロブロック・サブマクロブロックｔ（１≦ｔ≦ｘ）毎に設定される動きベクトルを、ｓ±１フレーム上のベクトルへ射影することが可能となる。ただし、ｘはフレームｓ内のブロック数である。なお、動きベクトルの導出対象フレームｓの参照フレームが２フレームある場合は，両方の参照フレームについて上記処理により射影した動きベクトルを導出し、その平均ベクトルを動きベクトルの導出対象フレームｓの各ブロックのＭＶ’stとする。
　以上で導出した動きベクトルの導出対象フレームｓ上のベクトルＭＶ’stを用いて、以下の式で動きベクトルの導出対象フレームｓの統計量であるベクトルの大きさの平均を導出する。ただし平均以外にも最大値や最小値や標準偏差や分散等の各種統計量を代替として用いることが可能である。また下式中の
Figure JPOXMLDOC01-appb-M000012
　はベクトルの大きさを表すものとする。
Figure JPOXMLDOC01-appb-M000013
　ただし、演算子
Figure JPOXMLDOC01-appb-M000014
　は自然数Ａ1～Ａmを参照して平均となる値を出力する。
　また、図１２（図１２では損失マクロブロック付近の動きベクトル導出対象マクロブロックを表し、細枠ブロックはデコード成功、太枠ブロックはデコード失敗を表している）に示すように、劣化したマクロブロックを囲む２４個のマクロブロックについて、フレーム全体の動きベクトル統計量を導出した場合と同様の処理を行い、２４個のマクロブロックの動きベクトルの代表値
Figure JPOXMLDOC01-appb-M000015
　を各劣化マクロブロック毎に導出する。ただし、フレームｓで劣化したマクロブロックの数をＴとする。
　このようにして求めたＭＶave（ｓ）とベクトルＭＶave（ｔ）とを利用して、損失が発生したマクロブロックの周辺に存在するマクロブロック群の動きの大きさが劣化したマクロブロックの主観品質へ与える影響度を表す重みを以下の式で導出する。
Figure JPOXMLDOC01-appb-M000016
　ただし、α、βはデータベースＤ１２に格納されている係数である。また、式内のａｖｅによる平均演算は、最大値・最小値・その他の統計量に置き換えが可能である。
　以上の処理は損失したマクロブロックがＰ属性またはＢ属性の場合に適用され、Ｉ属性の場合には、ＭweightはデータベースＤ１２に格納されている任意の定数とする（例えば１）。また、計算に必要となるマクロブロックやサブマクロブロックが劣化している場合は、それらの存在は無視し、存在するマクロブロックやサブマクロブロックから上記統計量を導出する。
　また劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの向きによる、主観品質への影響を測定する機能を説明する。動きの向きによる主観品質への影響度合いは動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図１３を用いて説明する。
　まず評価対象映像中に存在する全てのマクロブロックを参照し、動きベクトルが設定されているマクロブロックについては、図１３に基づいて、領域１～領域８までのどの領域に存在するか判定を行う。例として動きベクトル０を示しているが、動きベクトル０は領域２に存在していることを示している。評価対象映像フレームに存在する全マクロブロックについて同様の処理を適用し、各領域に存在する動きベクトルの数をカウントし、各領域の動きベクトルの総数ＭＶＮNUM（１≦ＮＵＭ≦８）を導出する。ただしＮＵＭは領域の識別子である。こうして導出したＭＶＮNUMについて、各ＭＶＮNUMの標本分散σMVNを導出する。こうして求めたσMVNをマクロブロックの動きの向きが劣化したマクロブロックの主観品質へ与える影響度合を表す重みとする。
　劣化発生領域の重み判定機能部Ｆ１２について、次に劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を導出する。詳細を図１４に示す。図１４に示す通り、縦横の長さ５０％となる中心の領域を注目領域と設定し、劣化したマクロブロックが注目領域上である場合、劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣをＣ＝c1とし、劣化したマクロブロックが注目領域上ではない場合はＣ＝c2とする。ただし、c1，c2はデータベースＤ１２に格納されている定数である。劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣは、評価対象映像のマクロブロック毎に計算される。
　また劣化発生領域の重み判定機能部Ｆ１２では、劣化の局所性が主観品質に及ぼす影響についても導出を行う。マクロブロックの座標系は図１５（図１５では、細枠ブロックはデコード成功、太枠ブロックはデコード失敗を表している）に示すように、左下を原点として右方向にＸ座標、上方向にＹ座標を取り、各マクロブロックの座標を（Ｘ，Ｙ）と表記する。次に損失が発生したマクロブロック群のＸ座標、Ｙ座標の標本分散値を導出し、以下の式で劣化の局所性が主観品質に及ぼす影響を計算する。
　　　　Ｌ＝fＬ（σx，σy）
　ただし、ここでは、fＬ（σx，σy）＝σx×σyとするが、乗算以外の任意の演算を行っても良い。劣化の局所性Ｌは評価対象映像のフレーム毎に計算される。このようにして劣化発生領域の重み判定機能部Ｆ１２で導出した各ブロックにおける、ベクトルＥ、Ｍweight、σMVN、Ｃ、Ｌを劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４へ出力する。
　次に劣化隠蔽処理特定機能部Ｆ１３の詳細を説明する。データベースＤ１３に格納されている劣化隠蔽に関する情報を入力として、劣化隠蔽処理による主観品質の向上を表すパラメータを出力する。まず劣化隠蔽処理が主観品質へ及ぼす影響を、主観品質評価実験の結果に従って判断する場合を説明する。具体的には表１と表２を使って説明する。
Figure JPOXMLDOC01-appb-T000017
Figure JPOXMLDOC01-appb-T000018
　まず表１に示すように、評価対象とする劣化隠蔽処理の各方式と劣化隠蔽処理を適用しない場合について、シーンの種類とビット列の損失パターンを変えた場合に適用し、それぞれの場合について主観品質を取得する。ただし主観品質評価尺度として、劣化映像の主観品質を絶対値として評価する絶対尺度を用いる。表１では主観品質の例としてMean Opinion Score（ＭＯＳ）を用いており、ＭＯＳefgは、シーンｅ（１≦ｅ≦Ｓ）、損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合のＭＯＳとなる。ただしｇ＝０の場合は、劣化隠蔽を行わない場合を示している。
　このようにして取得した主観品質を表２に示すように、各条件で取得したＭＯＳについて、劣化隠蔽特性を適用しなかった場合のＭＯＳに対する割合Ｗefgを算出する。Ｗefgは、シーンｅ（１≦ｅ≦Ｓ）、データ損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合の劣化隠蔽方式ｇの主観品質改善作用を表す。各劣化隠蔽方式について、各シーン・データ損失パターンに対する主観品質改善作用の平均化を行う。具体的には以下の式のようになる。
Figure JPOXMLDOC01-appb-M000019
　この値を各劣化隠蔽方式に対する主観品質の改善作用の代表値とする。主観品質評価尺度には原映像の品質からの差分で表す劣化尺度（ＤＭＯＳ等）も存在するが、表３と表４に示すように、絶対尺度の場合と同様に導出する。
Figure JPOXMLDOC01-appb-T000020
Figure JPOXMLDOC01-appb-T000021
　ただしこの場合は、各劣化隠蔽方式に対する主観品質の改善作用の代表値は以下のように導出する。利用する品質評価尺度の種類に従ってＷgの選択を行えば良い。
Figure JPOXMLDOC01-appb-M000022
　以上で利用した各係数はデータベースＤ１３に格納されている係数である。 
　また劣化隠蔽処理特定機能部Ｆ１３では主観品質評価実験の結果に従って構築されたデータベースを用いる以外に、符号化された映像のビットストリームや画素信号として復号された情報を用いて、評価対象映像毎に動的に劣化隠蔽処理が主観品質に及ぼす影響を推定する方法を用いても良い。
　具体的には、劣化隠蔽処理の効果と周囲のエッジ量には相関関係があることが知られていることから、上記劣化発生領域の重み判定機能部Ｆ１２における絵柄の複雑さが劣化したマクロブロックの主観品質への影響度を測定する機能の第一もしくは第二の場合において導出したベクトルＥを用いて劣化隠蔽特性の重みＷを以下の式で導出する。
Figure JPOXMLDOC01-appb-M000023
　ただし、ωはデータベースＤ１３またはＤ１２に格納されている係数で、Ｗは各マクロブロック毎に導出される。この場合のみＷを劣化発生領域の重み判定機能部Ｆ１２で計算して、劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力しても良い。
このようにして劣化隠蔽処理特定機能部Ｆ１３で導出した各マクロブロックにおけるＷgもしくはＷを劣化隠蔽処理情報１３ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力する。
　次に、単一フレームの劣化代表値導出機能部Ｆ１４の詳細を説明する。単一フレームの劣化代表値導出機能部Ｆ１４では、劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａを入力として、あるフレーム内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値と劣化の局所性をフレーム劣化代表値１４ａとして出力する。具体的には重み関数を用いて以下の式で導出される。
Figure JPOXMLDOC01-appb-M000024
　ここで、τはデータベースＤ１４に格納されている係数である。ただし、εは劣化発生領域（位置、数）特定機能部Ｆ１１が導出する、参照先のブロックがＰ属性かＢ属性かＩ属性かで決定される重みである。
Figure JPOXMLDOC01-appb-M000025
　は、劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおけるエッジが主観品質に及ぼす影響ベクトルＥで、Ｍweight（ｉ）は劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおける動きの大きさが主観品質に与える影響Ｍweightで、σMVNは劣化発生領域の重み判定機能部Ｆ１２が導出する動きの向きが主観品質に与える影響で、Ｃiは劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉの位置が主観品質に与える影響Ｃで、Ｗgは劣化隠蔽処理特定機能部Ｆ１３で導出する劣化隠蔽方式ｋの主観品質の改善効果を表し、Ｗgの代わりに数式１９より、
Figure JPOXMLDOC01-appb-M000026
　を用いることも可能である。ただし、ｘはフレーム内に存在する劣化したマクロブロックの総数である。重み関数ＷＦ1（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
　　　ＷＦ1（ｗ）＝ｕ1＊log（ｗ－ｕ2）＋ｕ3 
　ただし、ｕ1，ｕ2，ｕ3はデータベースＤ１４に格納されている係数である。
　また単一フレームの劣化代表値導出機能部Ｆ１４では、オプションとして劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａに基づいて或るスライス内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値ＤＳを導出する機能がある。具体的には重み関数ＷＦ1（ｗ）を用いて以下の式で導出される。
Figure JPOXMLDOC01-appb-M000027
　ただし、ＳＮは劣化したスライス内に存在する劣化したマクロブロックの総数であり、Ｗgの代わりに
Figure JPOXMLDOC01-appb-M000028
　を用いることも可能である。そして、フレーム劣化代表値１４ａを全フレームの劣化代表値導出機能部Ｆ１５に出力する。
　次に全フレームの劣化代表値導出機能部Ｆ１５の詳細を説明する。全フレームの劣化代表値導出機能部Ｆ１５では、単一フレームの劣化代表値導出機能部Ｆ１４から出力された評価対象映像中に存在する全てのフレームの劣化代表値と劣化の局所性を入力として、評価対象映像の劣化代表値Ｄを全フレーム劣化代表値１５ａとして出力する。劣化代表値Ｄは重み関数ＷＦ2（ｗ）を用いて以下の式で導出される。
Figure JPOXMLDOC01-appb-M000029
　ここで、Ｌfは劣化発生領域の重み判定機能部Ｆ１２で導出される、フレームｆにおける劣化の局所性が主観品質に与える影響である。重み関数ＷＦ2（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
　　　ＷＦ2（ｗ）＝ｈ1＊log（ｗ－ｈ2）＋ｈ3 
　ただし、ｈ1，ｈ2，ｈ3はデータベースＤ１５に格納されている係数であり、Ｆは評価対象映像中に存在する全フレーム数である。またＤfの代わりにＤSを用いても良く、その際は以下の式で評価対象映像の劣化代表値Ｄを導出する。
Figure JPOXMLDOC01-appb-M000030
　ただし、ＡＳＮは評価対象映像中に存在する全スライス数である。そして、全フレーム劣化代表値１５ａを主観品質推定機能部Ｆ１７に出力する。
　次に符号化劣化に対する主観品質推定機能部Ｆ１６の詳細を説明する。符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質Ｅcodedを導出する機能であり、本機能部Ｆ１６では符号化主観品質１６ａとして任意の従来法の出力を利用可能である。ＥcodedをデータベースＤ１６に格納しておいて符号化主観品質１６ａとして出力しても良い。
　次に全フレームの劣化代表値導出機能部Ｆ１５と符号化劣化に対する主観品質推定機能部Ｆ１６の出力を入力として、符号化とパケット損失による映像の劣化を加味した主観品質Ｅallを出力する主観品質推定機能部Ｆ１７の詳細を説明する。主観品質推定機能部Ｆ１７は、関数ｅｖ（ｘ，ｙ）を用いて以下の式で主観品質Ｅallを導出する。
　　Ｅall＝ｅｖ（Ｅcoded，Ｄ）
　関数ｅｖ（ｖ1，ｖ2）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
　　ｅｖ（ｖ1，ｖ2）＝ｌ1（ｖ1／ｖ2）＋ｌ2
　ただし、ｌ1，ｌ2はデータベースＤ１７に格納されている係数である。
　以上により、符号化ビット列に欠損が発生した場合に、精度良く効率的に映像の主観品質を導出することが可能となる。
（実施の形態２）
　本実施の形態は、劣化隠蔽処理の影響を表すパラメータＷgの導出方法以外は、実施の形態１と同様の処理を行う。Ｗgは、空間方向の劣化隠蔽処理の影響を表すＷgSと時間方向の劣化隠蔽処理の影響を表すＷgTを用いて以下の式で導出する。
　Ｗg＝ω1×ＷgS×ＷgT＋ω2×ＷgS＋ω3×ＷgT
　ただし、ω1，ω2，ω3はデータベースＤ１３に格納してある係数である。
　空間方向の劣化隠蔽処理の影響を表すＷgSの導出方法を図１７を用いて説明する。図１７に示すフレーム内のマクロブロック数とスライス形状は一例である。
　ＷgSを導出する際には、まず図１７において、単一フレーム内の劣化領域と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を計算する。本実施の形態では類似度として、２つのマクロブロックの全画素の輝度情報の平均二乗誤差を用いる。ただし類似度導出はこの方法のみでなく、公知の全ての類似度導出アルゴリズムを用いることができる。本実施の形態では、具体的にマクロブロック１とマクロブロック２が存在する場合に、類似度を以下の式で導出する。
Figure JPOXMLDOC01-appb-M000031
　ただし、Ｐ1iとＰ2iは、マクロブロック１とマクロブロック２で空間的に同一位置の画素である。
　次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を導出する（例えば図１７の周囲マクロブロック１４については、隣接する周囲マクロブロック１３と１５の両方と類似度の導出を行う）。周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの間で導出された類似度を平均し、その値を周囲マクロブロックの類似度代表値とし、全ての周囲マクロブロックの類似度代表値を平均して単一フレームの類似度Ｓframeとする。またそのフレーム内で劣化したマクロブロックの数をＮframeとし、ＷgSを以下の式で導出する。
Figure JPOXMLDOC01-appb-M000032
　ただし、ω4，ω5，ω6，ω7，ω8はデータベースＤ１３に格納してある係数である。
　次に、時間方向の劣化隠蔽処理の影響を表すＷgTの導出方法についても図１７を用いて説明する。ＷgTを導出する際には、まず図１７で単一フレームｉ（ｉは時系列でｉ番目のフレーム）内の劣化領域（マクロブロック２４，３４，３５）と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。同時に時系列でフレームｉと前後するフレームｉ－１とフレームｉ＋１に注目する。まず図１８（図１８では、ブロック２４は損失ブロック、ブロック１３，１４，３４は周囲マクロブロックの一部を表している。そして、図中の左側のマクロブロック１３，１４，２３，２４はフレームｉ－１の一部、図中の中央のマクロブロック１３，１４，２３，２４はフレームｉの一部、図中の右側のマクロブロック１３，１４，２３，２４はフレームｉ＋１の一部を表している）で示すように、フレームｉの周囲マクロブロック各々について動きベクトルの大きさと向きを検出し、同時にフレームｉ－１とフレームｉ＋１について、フレームｉの周囲マクロブロックの位置と空間的に同一位置の動きベクトルの向きと大きさを検出する。これは参考文献１に従って行う。
　更にフレームｉ－１とフレームｉ＋１の動きベクトルについて、フレームｉの周囲マクロブロックの動きベクトルの内積を計算し、例えば図１７中の周囲マクロブロック１４についてであれば、それぞれＩＰ14iとＩＰ14(i+1)を導出する。そしてＩＰ14iとＩＰ14(i+1)を平均した値としてＡＩＰ14iを導出する。ただし、内積を計算する際の各ベクトルの大きさは一律に１としても良い。同様にしてフレームｉ内の全ての周囲マクロブロックについてＡＩＰΔi（Δは周囲マクロブロック番号）を計算し、全ての周囲マクロブロックのＡＩＰΔiを平均した値を、フレームｉの時間方向の劣化隠蔽処理の影響を表すＷgT＝ＡＩＰiとする。ただしフレームｉ－１とフレームｉ＋１について、フレームｉの周囲マクロブロックと空間的に対応するマクロブロックに動きベクトルが設定されていない場合や損失で失われている場合は、そのマクロブロックの動きベクトルは０ベクトルとしてＷgTを計算する。また本実施の形態では劣化が起きた前後のフレームから内積計算用の動きベクトルを算出したが、任意の２フレームから内積計算用の動きベクトルを算出しても良い。
　なお、ＷgSやＷgTは劣化が起きたフレーム毎に再計算される値である。

Claims (19)

  1. 　視聴者が映像を見た時に体感する映像の主観品質を推定することにより映像の品質を客観的に評価する映像品質客観評価方法であって、
    　動き補償とＤＣＴ変換を利用して符号化された前記映像のビット列を受信するステップと、
    　受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算ステップと、
    　前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う推定ステップとを有し、
    　前記演算ステップは、失われたビット列で保存されていたブロックの空間もしくは時系列の位置情報を抽出し、
    　前記推定ステップは、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
  2. 　請求項１において、
    　前記演算ステップは、動き補償機能を用いて他のブロックから参照される参照先ブロックのビット列に損失が生じている場合、参照先のブロックのビット列の損失が参照元のブロックに与える損失を演算し、
    　前記推定ステップは、前記演算ステップの演算結果に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
  3. 　請求項１において、
    　前記演算ステップは、符号化処理により劣化した主観品質を、ビット列の損失が生じた場合の主観品質の最大値とすることを特徴とする映像品質客観評価方法。
  4. 　請求項１において、
    　前記演算ステップは、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が生じたブロックの数を重み付きで演算した値を算出し、
    　前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
  5. 　請求項４において、
    　前記演算ステップは、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで演算した値を算出し、
    　前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
  6. 　請求項４または請求項５において、
    　前記演算ステップでは、前記主観品質の推定に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定することを特徴とする映像品質客観評価方法。
  7. 　請求項６において、
    　前記演算ステップでは、動きベクトルデータの統計量として、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を用いることを特徴とする映像品質客観評価方法。
  8. 　請求項６において、
    　前記演算ステップでは、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を用いることを特徴とする映像品質客観評価方法。
  9. 　請求項６において、
    　各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化するステップをさらに有し、
    　前記推定ステップは、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出することを特徴とする映像品質客観評価方法。
  10. 　請求項６において、
    　前記推定ステップは、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
  11. 　請求項６において、
    　前記演算ステップでは、局所的な画素情報として、損失したビット列中に含まれるマクロブロックの近辺のマクロブロックの画素情報を用いることを特徴とする映像品質客観評価方法。
  12. 　請求項１において、
    　前記演算ステップは、失われたビット列で保存されていた情報が符号化の制御情報である場合、その符号化制御情報が主観品質に与える影響の度合いを演算し、
    　前記推定ステップは、前記演算ステップの演算結果に応じて前記映像の主観品質を推定することを特徴とする 映像品質客観評価方法。
  13. 　請求項１において、
    　前記推定ステップは、前記映像の主観品質を推定する映像品質の客観評価を行う時に、符号化方式またはフレームレートまたは前記映像の解像度に応じて評価式の最適化を行うことを特徴とする映像品質客観評価方法。
  14. 　請求項１，２，４の何れかにおいて、
    　前記ブロックは、フレームまたはスライスまたはマクロブロックまたはサブマクロブロックの何れかであることを特徴とする映像品質客観評価方法。
  15. 　視聴者が映像を見た時に体感する映像の主観品質を推定することにより前記映像の品質を客観的に評価する映像品質客観評価装置であって、
    　動き補償とＤＣＴ変換を用いて符号化された前記映像のビット列を受信する受信部と、
    　受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算部と、
    　前記演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う推定部とを備え、
    　前記演算部は、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出し、
    　前記推定部は、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価装置。
  16. 　動き補償とＤＣＴ変換を用いて符号化された映像のビット列を受信する処理と、
    　受信した前記映像のビット列に損失が生じている場合、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出する処理と、
    　抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定する処理をコンピュータに実行させるプログラム。
  17. 　請求項６において、
    　前記推定ステップは、空間方向の劣化隠蔽処理の影響を表現する値と、時間方向の劣化隠蔽処理の影響を表現する値とを用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
  18. 　請求項１７において、
    　前記空間方向の劣化隠蔽処理の影響を表現する値は、劣化領域の周辺の類似度と劣化領域の大きさとを用いて算出することを特徴とする映像品質客観評価方法。
  19. 　請求項１７において、
    　前記時間方向の劣化隠蔽処理の影響を表現する値は、フレーム間の動きベクトルの大きさおよび向きの変化量を用いて算出することを特徴とする映像品質客観評価方法。
PCT/JP2009/055681 2008-03-21 2009-03-23 映像品質客観評価方法、映像品質客観評価装置、及びプログラム WO2009116667A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09721820A EP2257077A4 (en) 2008-03-21 2009-03-23 METHOD, DEVICE, AND PROGRAM FOR OBJECTIVE EVALUATION OF VIDEO QUALITY
US12/922,678 US20110026585A1 (en) 2008-03-21 2009-03-23 Video quality objective assessment method, video quality objective assessment apparatus, and program
BRPI0908561A BRPI0908561A2 (pt) 2008-03-21 2009-03-23 método de avaliação objetiva de qualidade de vídeo, aparelho de avaliação objetiva de qualidade de vídeo e programa
CN2009801092370A CN101978701A (zh) 2008-03-21 2009-03-23 视频质量客观评价方法、视频质量客观评价设备及程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008074576 2008-03-21
JP2008-074576 2008-03-21
JP2009-041462 2009-02-24
JP2009041462A JP2009260941A (ja) 2008-03-21 2009-02-24 映像品質客観評価方法、映像品質客観評価装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2009116667A1 true WO2009116667A1 (ja) 2009-09-24

Family

ID=41091063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/055681 WO2009116667A1 (ja) 2008-03-21 2009-03-23 映像品質客観評価方法、映像品質客観評価装置、及びプログラム

Country Status (7)

Country Link
US (1) US20110026585A1 (ja)
EP (1) EP2257077A4 (ja)
JP (1) JP2009260941A (ja)
KR (1) KR20100116216A (ja)
CN (1) CN101978701A (ja)
BR (1) BRPI0908561A2 (ja)
WO (1) WO2009116667A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2564590A1 (en) * 2010-04-30 2013-03-06 Thomson Licensing Method and apparatus for assessing quality of video stream

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275038B2 (en) * 2009-11-30 2012-09-25 Faraday Technology Corp. Motion detecting method and motion detector
KR101279705B1 (ko) 2011-12-22 2013-06-27 연세대학교 산학협력단 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법
KR101277341B1 (ko) * 2011-12-27 2013-06-20 연세대학교 산학협력단 영상 시퀀스의 화질 측정 방법, 영상 프레임의 화질 측정 장치 및 방법
US20150189333A1 (en) * 2013-12-27 2015-07-02 Industrial Technology Research Institute Method and system for image processing, decoding method, encoder, and decoder
CN103945218B (zh) * 2014-04-25 2016-01-13 厦门大学 一种基于双眼视觉融合的立体图像质量评测方法
CN104159104B (zh) * 2014-08-29 2016-02-10 电子科技大学 基于多级梯度相似的全参考视频质量评估方法
KR102264840B1 (ko) * 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치
KR102236561B1 (ko) * 2014-12-31 2021-04-07 삼성디스플레이 주식회사 열화 보상 장치, 이를 포함하는 표시 장치 및 열화 보상 방법
US20230095350A1 (en) * 2021-09-17 2023-03-30 Smart Science Technology, LLC Focus group apparatus and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341688A (ja) * 1999-05-31 2000-12-08 Ando Electric Co Ltd 動画通信品質判定装置
JP2007043642A (ja) * 2005-03-04 2007-02-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US6822675B2 (en) * 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
FR2847412B1 (fr) * 2002-11-15 2005-01-14 Telediffusion De France Tdf Procede et systeme de mesure des degradations d'une image video introduites par les systemes de diffusion numerique
KR100824711B1 (ko) * 2003-08-22 2008-04-24 니뽄 덴신 덴와 가부시키가이샤 영상 정합 장치, 영상 정합 방법, 및 영상 정합 프로그램을기록한 기록매체
EP1779673A1 (en) * 2004-07-15 2007-05-02 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
EP1804519A4 (en) * 2004-10-18 2010-01-06 Nippon Telegraph & Telephone OBJECTIVE VIDEO QUALITY EVALUATION DEVICE, EVALUATION METHOD AND PROGRAM
US9154795B2 (en) * 2005-01-18 2015-10-06 Thomson Licensing Method and apparatus for estimating channel induced distortion
CA2611397C (en) * 2005-07-11 2010-12-21 Nippon Telegraph And Telephone Corporation Video matching device, method, and program
BRPI0707343B1 (pt) * 2006-01-31 2020-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Método e aparelho de avaliação de qualidade de sinal não intrusivo
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
CN101087438A (zh) * 2006-06-06 2007-12-12 安捷伦科技有限公司 计算无参考视频质量评估的分组丢失度量的系统和方法
US8159960B2 (en) * 2006-12-18 2012-04-17 Verizon Patent And Licensing Inc. Content processing device monitoring
US20100053300A1 (en) * 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment
KR20090063406A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341688A (ja) * 1999-05-31 2000-12-08 Ando Electric Co Ltd 動画通信品質判定装置
JP2007043642A (ja) * 2005-03-04 2007-02-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference", ITU-T J.144, February 2000 (2000-02-01)
"Opinion model for video-telephony applications", ITU-T G.1070, April 2007 (2007-04-01)
MASATAKA MASUDA; TOSHIKO TOMINAGA; TAKANORI HAYASHI: "Non-intrusive Quality Management for Video Communication Services by using Invalid Frame Rate", TECHNICAL REPORT OF IEICE, September 2005 (2005-09-01), pages 55 - 60
See also references of EP2257077A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2564590A1 (en) * 2010-04-30 2013-03-06 Thomson Licensing Method and apparatus for assessing quality of video stream
JP2013527688A (ja) * 2010-04-30 2013-06-27 トムソン ライセンシング ビデオストリームの品質を評価する方法と装置
EP2564590A4 (en) * 2010-04-30 2015-01-21 Thomson Licensing METHOD AND DEVICE FOR EVALUATING THE QUALITY OF A VIDEO STREAM
US9288071B2 (en) 2010-04-30 2016-03-15 Thomson Licensing Method and apparatus for assessing quality of video stream

Also Published As

Publication number Publication date
US20110026585A1 (en) 2011-02-03
KR20100116216A (ko) 2010-10-29
BRPI0908561A2 (pt) 2019-09-24
EP2257077A1 (en) 2010-12-01
JP2009260941A (ja) 2009-11-05
CN101978701A (zh) 2011-02-16
EP2257077A4 (en) 2011-02-16

Similar Documents

Publication Publication Date Title
WO2009116667A1 (ja) 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
US9037743B2 (en) Methods and apparatus for providing a presentation quality signal
Søgaard et al. No-reference video quality assessment using codec analysis
Moorthy et al. Efficient video quality assessment along temporal trajectories
EP2649801A1 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
Joskowicz et al. A parametric model for perceptual video quality estimation
Uzair et al. A no-reference framework for evaluating video quality streamed through wireless network
Yamada et al. No-reference video quality estimation based on error-concealment effectiveness
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
Huang et al. No-reference pixel based video quality assessment for HEVC decoded video
Keimel et al. Design of no-reference video quality metrics with multiway partial least squares regression
Xu et al. Consistent visual quality control in video coding
Konuk et al. A spatiotemporal no-reference video quality assessment model
Nur Yilmaz A no reference depth perception assessment metric for 3D video
Sedano et al. Evaluation of video quality metrics on transmission distortions in H. 264 coded video
Boujut et al. Weighted-MSE based on Saliency map for assessing video quality of H. 264 video streams
Huang No-reference video quality assessment by HEVC codec analysis
Aabed et al. PeQASO: perceptual quality assessment of streamed videos using optical flow features
Garcia et al. Towards a content-based parametric video quality model for IPTV
He et al. A no reference bitstream-based video quality assessment model for h. 265/hevc and h. 264/avc
Singam et al. Full Reference Video Quality Assessment based on Statistical based Transform Coefficients
Aamir et al. HDR-BVQM: High dynamic range blind video quality model
Liu et al. Review of ITU-T parametric models for compressed video quality estimation

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980109237.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09721820

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009721820

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12922678

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20107020798

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0908561

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100915