WO2006043500A1 - 映像品質客観評価装置、評価方法およびプログラム - Google Patents

映像品質客観評価装置、評価方法およびプログラム Download PDF

Info

Publication number
WO2006043500A1
WO2006043500A1 PCT/JP2005/019019 JP2005019019W WO2006043500A1 WO 2006043500 A1 WO2006043500 A1 WO 2006043500A1 JP 2005019019 W JP2005019019 W JP 2005019019W WO 2006043500 A1 WO2006043500 A1 WO 2006043500A1
Authority
WO
WIPO (PCT)
Prior art keywords
degradation
amount
deterioration
video signal
video
Prior art date
Application number
PCT/JP2005/019019
Other languages
English (en)
French (fr)
Inventor
Jun Okamoto
Takaaki Kurita
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to CN2005800335748A priority Critical patent/CN101036399B/zh
Priority to JP2006542965A priority patent/JP4733049B2/ja
Priority to CA2582531A priority patent/CA2582531C/en
Priority to EP05793444A priority patent/EP1804519A4/en
Priority to US11/663,679 priority patent/US8130274B2/en
Publication of WO2006043500A1 publication Critical patent/WO2006043500A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Definitions

  • the present invention relates to the ability to measure the physical features of video signals or video files without humans performing a subjective evaluation quality test to evaluate the quality of the video. It relates to an objective video quality evaluation device, evaluation method and program.
  • the present invention has been made to solve the above-described problem, and it is possible to estimate the subjective quality of an image even in the case of an image in which deterioration occurs locally in the time-space direction.
  • An object of the present invention is to provide an objective video quality evaluation apparatus, evaluation method, and program. Means for solving the problem
  • the present invention relates to a spatio-temporal feature that is a feature amount of degradation caused in the degraded video signal from a degraded video signal to be evaluated and a reference video signal that is a signal before degradation of the degraded video signal.
  • a spatio-temporal characteristic that is a characteristic amount of deterioration caused in a deteriorated video signal from a deteriorated video signal to be evaluated and a reference video signal that is a signal before deterioration of the deteriorated video signal.
  • the spatio-temporal feature amount deriving unit for deriving the collected amount and weighting the spatio-temporal feature amount based on the relationship between the degraded video obtained in advance and the subjective evaluation value of the user,
  • a subjective quality estimation unit that estimates quality, for example, even in the case of video in which degradation due to packet loss on the communication network occurs locally in the time and space directions.
  • the subjective quality can be estimated, and by replacing the conventional objective evaluation technique with the video quality objective evaluation apparatus of the present invention, the great labor and time required for performing the subjective evaluation are eliminated.
  • the spatiotemporal feature quantity deriving unit is provided with first deriving means for deriving a spatial feature quantity that takes into account the spatial locality of degradation that has occurred in the evaluation target frame of the degraded video signal. Therefore, quality evaluation can be performed in consideration of the spatial locality of deterioration, The estimation accuracy of the evaluation value can be increased.
  • the spatio-temporal feature quantity deriving unit derives the second derivation means for deriving the temporal feature quantity of degradation occurring in the evaluation target frame of the degraded video signal, the spatial feature quantity, and the temporal feature quantity.
  • FIG. 1 is a diagram showing an example of an image in which degradation occurs locally in a space.
  • FIG. 2 is a diagram showing an example of the relationship between video frame numbers and video degradation amounts.
  • FIG. 3 is a block diagram showing a configuration of a video quality objective evaluation apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the video quality objective evaluation apparatus of the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing a method for deriving a spatial feature amount in consideration of local video degradation in the space in the first embodiment of the present invention.
  • FIG. 6 is a diagram showing a histogram of deterioration amounts for each block in the first embodiment of the present invention.
  • FIG. 7 is a diagram for explaining how to grasp local video degradation on the time axis in the first embodiment of the present invention.
  • FIG. 8 is a flowchart showing a method for deriving a spatio-temporal feature amount considering local video degradation on the time axis in the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of setting a unit measurement period in derivation of the spatio-temporal feature amount according to the first embodiment of the present invention.
  • Fig. 10 is a diagram showing another example of the unit measurement period setting in the derivation of the spatio-temporal feature amount in the first embodiment of the present invention.
  • FIG. 11 is a diagram showing a steady average deterioration amount, a deterioration variation amount of local video deterioration, and a duration.
  • FIG. 12 shows a derivation function of a local deterioration determination threshold in the first embodiment of the present invention. It is a figure.
  • FIG. 13 is a diagram showing the structure of a deterioration intensity database table in the first example of the present invention.
  • FIG. 14 is a diagram for explaining a method of total deterioration intensity in the first embodiment of the present invention.
  • FIG. 15 is a diagram showing a configuration of a first deterioration amount addition table in the first example of the present invention.
  • FIG. 16 is a diagram showing a configuration of a second deterioration amount addition table in the first example of the present invention.
  • FIG. 17 is a diagram showing another example of an image in which degradation has locally occurred in a space.
  • FIG. 18 is a flowchart showing a method for deriving a spatial feature amount in consideration of local video degradation in the space in the second embodiment of the present invention.
  • FIG. 19 is a diagram for explaining motion vectors.
  • FIG. 20 is a diagram showing a weighting coefficient with respect to the speed of motion of local video degradation in the second embodiment of the present invention.
  • FIG. 21 is a diagram showing a weighting coefficient for the attention level of local video degradation in the second embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of an image in which deterioration occurs locally in space. Video degradation due to packet loss and code errors in the communication network occurs locally, mainly in areas with video motion, so it is necessary to consider spatial locality. P in Figure 1
  • the actual degraded video and the main video Relational power with view evaluation value Subjective evaluation value is estimated by weighting in advance. Thereby, the estimation accuracy of the subjective evaluation value is increased.
  • FIG. 2 is a diagram showing an example of video degradation that occurs locally on the time axis, and is a diagram showing an example of the relationship between the video frame number and the video degradation amount.
  • packet loss or code error occurs in the communication network
  • one frame freeze failure J in Fig. 2 suddenly occurs due to frame skipping, or degradation that continues until the next I (Intra) frame is decoded ( Local image degradation occurs when the magnitude of K) in Fig. 2 is large.
  • the amount of degradation when local degradation does not occur the increment of degradation amount when local degradation occurs (degradation fluctuation amount), and «
  • the subjective evaluation value is estimated by weighting the duration in consideration of the subjective evaluation characteristics obtained in advance. Thereby, the estimation accuracy of the subjective evaluation value is increased.
  • FIG. 3 is a block diagram showing the configuration of the video quality objective evaluation apparatus according to the first embodiment of the present invention. The outline of the operation will be described below.
  • the reference video signal RI which is the previous signal is used.
  • the alignment unit 11 searches the reference video signal RI and the deteriorated video signal PI for a match in time and position from the reference video signal RI and the degraded video signal PI in a state where the frame display interval and format are matched.
  • the signal RI and the degraded video signal PI are output to the spatiotemporal feature derivation unit 12.
  • the spatio-temporal feature quantity deriving unit 12 uses the reference video signal RI and the degraded video signal PI adjusted in the alignment unit 11 and uses a degradation intensity database (hereinafter abbreviated as degradation intensity DB) 13 as necessary.
  • the spatio-temporal feature quantity PC which is the physical feature quantity of degradation, is derived and passed to the subjective quality estimation unit 14.
  • the spatio-temporal feature quantity deriving unit 12 includes first deriving means 121 for deriving the spatial feature quantity of degradation that has occurred in the evaluation target frame of the degraded video signal PI, and the degradation time that has occurred in the evaluation target frame of the degraded video signal PI.
  • the subjective quality estimation unit 14 corresponds to the spatio-temporal feature quantity PC received from the spatio-temporal feature quantity deriving unit 12 between the user's subjective evaluation value for the degraded video and the spatio-temporal feature quantity of the degraded video.
  • the objective evaluation value is derived by performing a weighting operation using the objective evaluation value deriving function obtained in advance.
  • FIG. 4 is a flowchart showing the operation of the video quality objective evaluation apparatus of FIG.
  • the alignment unit 11 matches the frame display interval and format of the degraded video signal PI and the reference video signal RI, and searches the reference video signal RI in the time direction in units of frames, thereby obtaining the degraded video signal PI.
  • the degraded video signal PI and the reference video signal RI are adjusted to be the same in pixel units.
  • the adjusted reference video signal RI and degraded video signal PI are passed to the spatiotemporal feature quantity deriving unit 12 (step Sl in FIG. 4).
  • the spatio-temporal feature quantity deriving unit 12 performs the following processing on the reference video signal RI and the degraded video signal PI received from the alignment unit 11 to derive a plurality of spatio-temporal feature quantity PCs. To the subjective quality estimation unit 14 (step S2).
  • FIG. 5 is a flowchart showing a method for deriving the spatial feature DS.
  • the first derivation means 121 of the spatiotemporal feature quantity deriving unit 12 calculates the degradation amount S for each block obtained by dividing the evaluation target frame from the reference video signal RI and the degraded video signal PI received from the alignment unit 11. Calculate and store (step S10 in FIG. 5).
  • Degradation amount S includes parameters such as PSNR (Peak Signal to Noise Ratio), which is the signal-to-noise ratio, and Average Edge Energy, as defined by ANSI (American National Standards Institute).
  • the first deriving unit 121 calculates the average frame degradation amount Xave—all, which is an average value of the calculated degradation amount S for each block over the entire evaluation target frame, and deterioration of the evaluation target frame.
  • the local deterioration area average deterioration amount Xave-bad which is an average value of the deterioration amount S within the strong area, is calculated and stored (step S11).
  • Figure 6 shows a histogram of the degradation amount S for each block, where the horizontal axis represents the degradation amount S and the vertical axis represents the block where each degradation amount S occurred. Is the number of blocks accumulated for each deterioration amount. In Fig. 6, it is assumed that the video degradation becomes greater as it goes to the right.
  • the local deterioration area average deterioration amount Xave-bad is an average value of deterioration amounts S included in a predetermined deterioration strength range (shaded area in Fig. 6).
  • the top 10% of blocks with the largest amount of deterioration out of the total number of blocks are within the specified deterioration strength range.
  • the first deriving means 121 calculates the following expression using the coefficients A and B that have been determined by subjective evaluation experiments. Calculate and store the spatial feature DS taking into account video degradation (step S12).
  • Equation (1) A is a coefficient obtained in advance based on the subjective evaluation characteristics when local video degradation does not occur in the space, and B is a subjective assessment when local video degradation occurs in the space. It is a coefficient obtained in advance by characteristics.
  • the spatiotemporal feature quantity deriving unit 12 performs the above processing for each frame in accordance with the transition of time.
  • the spatial feature quantity DS is calculated by using the frame average degradation amount Xave-all and the local degradation area average degradation amount Xave-bad, but in addition, various degradation amounts of the evaluation target frame. It is conceivable to use distribution statistics. For example, in the degradation amount distribution of the evaluation target frame shown in FIG. 6, the occurrence frequency, the area, and the number of blocks of each degradation amount may be used for calculating the spatial feature DS. Alternatively, the standard deviation or variance value of the degradation amount may be used, and further, the difference value between the frame average degradation amount Xave—all and the local degradation region average degradation amount Xave—bad may be used. Also, the spatial feature DS may be calculated by combining these statistics.
  • the spatio-temporal feature PC is derived by taking into account the effects of degradation of both.
  • the influence of deterioration in the unit measurement period ut is calculated only by local deterioration, and the influence of the average deterioration amount Q2 in the unit measurement period ut is calculated, and the effects of both deteriorations are taken into account.
  • the unit measurement period ut and the frame have the relationship of unit measurement period ut ⁇ l frame period.
  • Q1 in Fig. 7 is the amount of local deterioration.
  • FIG. 8 is a flowchart showing a method for deriving the spatiotemporal feature quantity PC.
  • the spatiotemporal feature amount deriving unit 12 calculates a degradation amount C for each unit measurement period ut (frame or constant measurement interval) from the reference video signal RI and the degraded video signal PI received from the alignment unit 11. Store it (step S20 in FIG. 8).
  • the second deriving unit 122 derives a temporal feature amount.
  • This time feature value includes the frame rate, the number of frame skips, the TI value specified by ITU-T-IRecP. 910, and the feature value specified by ANSI.
  • the temporal feature amount derived by the second deriving means 122 can be used as the degradation amount C, and when the spatial feature amount DS or the spatial feature amount DS previously derived by the first deriving means 121 is derived.
  • the amount of deterioration S used can also be used as the amount of deterioration C. It should be noted that a value (objective evaluation value) that has been converted and estimated in advance as a subjective evaluation value for each frame using the deterioration amount as described above may be used as the deterioration amount C.
  • the degradation amount C calculated in time series is derived.
  • the third derivation means 123 of the spatio-temporal feature quantity deriving unit 12 calculates the steady-state average degradation amount Dcons from the degradation amount C, the degradation fluctuation amount d of local video degradation, and the duration t thereof for each unit measurement period ut. (Step S21 in FIG. 8).
  • the unit measurement periods ut may be set so as not to overlap each other as shown in FIG. 9, or may be set so as to overlap each other as shown in FIG.
  • FIG. 11 shows the steady-state average degradation amount Dcons, the degradation fluctuation amount d of local video degradation, and the duration t.
  • the steady-state average degradation amount Dcons is an average value of the steady-state degradation amount C excluding the occurrence of local video degradation in the unit measurement period ut, and is calculated for each unit measurement period ut. In the middle of the unit measurement period ut, the steady average deterioration amount Dcons calculated in the immediately preceding unit measurement period ut is used.
  • Deterioration fluctuation amount d of local video degradation is defined as local video degradation amount and steady average degradation amount Dcons And the difference value.
  • the first degradation amount C as described above is defined as the local image degradation amount, and the difference from the steady average degradation amount Dcons at this time is defined as the degradation fluctuation amount d.
  • the duration t of local video degradation is a difference between the amount of degradation C and the steady average degradation amount Dcons that is greater than or equal to (d ⁇ ) and less than or equal to (d + ⁇ ) when local video degradation occurs.
  • a time that is within range. ⁇ is a predetermined allowable variation range.
  • the local degradation determination threshold for determining whether or not local image degradation has occurred is determined based on the local degradation determination threshold derivation function as shown in Fig. 12 and a value corresponding to the current steady-state average degradation amount Dcons.
  • the third derivation is performed by determining the local degradation discrimination threshold deriving function so that the discrimination of local video degradation performed subjectively by the user and the discrimination of local video degradation based on the local degradation discrimination threshold correspond well. It may be stored in the means 123. Note that local image degradation may occur multiple times within the unit measurement period ut, so every time local image degradation occurs, a set of degradation variation d and duration t is obtained and retained. Become.
  • the third deriving means 123 refers to the deterioration intensity DB13 based on the deterioration fluctuation amount d calculated in step S21 and the duration t, and determines the deterioration fluctuation amount d and the duration in the unit measurement period ut.
  • Deterioration strength D considering the effect of t on the user's subjective evaluation is obtained and stored (step S22 in FIG. 8).
  • the degradation strength DB 130 has a duration degradation strength table 130 in which a degradation strength curve indicating the relationship between duration t and degradation strength D is registered in each degradation fluctuation amount d. Prepared in advance.
  • the third deriving unit 123 refers to the deterioration strength DB 13 and converts the set of the deterioration variation amount d and the duration t to the deterioration strength D.
  • the duration degradation curve shows the user's subjective evaluation characteristics for videos that are subject to local video degradation, while varying the degradation variation d and duration t. Decide so that D corresponds well.
  • the third deriving means 123 performs the process of step S22 for each set when a plurality of sets of the deterioration variation amount d and the duration t are obtained within the unit measurement period ut.
  • the third deriving unit 123 sums the deterioration strength D for each unit measurement period ut and stores the total value (step S23 in FIG. 8).
  • the degradation strength D derived in step S22 may be simply added, but the following points are considered in order to match the user's subjective characteristics.
  • the user's subjective evaluation is affected by local deterioration with a strong deterioration strength when both strong local deterioration and weak local deterioration exist in the video.
  • the user's subjective evaluation is influenced by the total value of the deteriorations.
  • the degradation strengths of multiple local degradations occurring within the unit measurement period ut Dl, D2, D3, ..., DN-1 , DNs are arranged in descending order, and the forces with the least degradation strength are added in order, referring to the first degradation amount addition table 124 as shown in FIG.
  • the first deterioration amount addition table 124 stores the deterioration strengths D a and Db and the total deterioration strength Dsum in association with each other, and is prepared in advance in the third derivation means 123.
  • Degradation strengths Dl, D2, D3, ⁇ , DN—l, DN rearranged in descending order at step 201 in Fig. 14 are D, l, D '2, D' 3, ⁇ ⁇ , D 'N— 1, D' N, in the first addition, as shown in step 202, the minimum degradation strength D '1 is Da, and the next smallest degradation strength D, 2 is Db. Based on the degradation strengths Da and Db, the total degradation strength Dsum corresponding to the degradation strengths Da and Db is obtained with reference to the first degradation amount addition table 124 (step 203).
  • step 204 the previously derived total deterioration strength Dsum is added to Da, and the minimum deterioration strength of unprocessed deterioration strengths is set to Db.
  • the total deterioration strength Dsum corresponding to the deterioration strengths Da and Db is obtained (step 205). Thereafter, the processing shown in Steps 204 and 205 is repeated until the deterioration strength D ′ N.
  • the third deriving means 123 uses the finally obtained total deterioration strength Dsum as fe total deterioration strength value Dpart in the unit measurement period ut. .
  • the first degradation amount addition table 124 shows the subjective evaluation characteristics of the user with respect to the video in which local video degradation has occurred, while changing the two degradation strengths Da and Db. It was determined that the user's subjective evaluation and the total degradation strength Dsum correspond well. According to the first degradation amount addition table 124, when the degradation strength Db is larger than the degradation strength Da, the total degradation strength Dsum is a value close to the degradation strength Db, and the degradation strengths Da and Db are about the same value. Sometimes the total deterioration strength Dsum is close to the sum of the deterioration strengths Da and Db. As a result, as described above, the total value of the degradation strength D can be matched to the user's subjective characteristics.
  • the third derivation means 123 uses the second deterioration amount addition table 125 as shown in FIG. 16 based on the total value Dpart of the deterioration intensity in the unit measurement period ut and the steady average deterioration amount Dcons.
  • the spatio-temporal feature quantity PC considering the local video degradation on the time axis is acquired and stored (step S24 in FIG. 8).
  • the second degradation amount addition table 125 stores the total degradation strength value Dpart, the steady-state average degradation amount Dcons, and the spatio-temporal feature amount PC in association with each other. It is prepared in advance. This second degradation amount addition table 125 examines the user's subjective evaluation characteristics for images where local video degradation has occurred, changing the total degradation strength value Dpart and the steady average degradation amount Dcons. The user's subjective evaluation and the spatio-temporal feature PC are determined so that they correspond well.
  • the process of the spatiotemporal feature quantity deriving unit 12 is thus completed.
  • the degradation amount C obtained in step S20 has a plurality of types such as the frame rate and the number of frame skips.
  • the spatio-temporal feature quantity deriving unit 12 performs the processes of steps S21 to S24 for each type of degradation amount C when obtaining a plurality of types of degradation amounts C in step S20. Therefore, there are multiple spatio-temporal feature values PC obtained for each unit measurement period ut.
  • the subjective quality estimation unit 14 calculates an objective evaluation value by performing a weighting operation such as the following equation based on the plurality of spatio-temporal feature amounts PC received from the spatio-temporal feature amount deriving unit 12. (Step S3 in Fig. 4).
  • Equation (2) ⁇ is the objective evaluation value, XI, ⁇ 2, ⁇ ⁇ is the spatio-temporal feature PC, and F is the objective evaluation value derivation function.
  • XI is a spatio-temporal feature amount PC obtained from the spatial feature amount DS by the processing of steps S21 to S24 when the spatial feature amount DS is used as the deterioration amount C, for example.
  • X2 is the spatio-temporal feature amount PC obtained from the frame rate when the frame rate is used as the deterioration amount C, for example.
  • ⁇ , ⁇ , and y are predetermined coefficients.
  • ⁇ , ⁇ , and ⁇ are predetermined coefficients.
  • the coefficients ⁇ , ⁇ , and ⁇ local video degradation occurs, and the user's subjective evaluation characteristics for the video are examined while varying the degradation amount, and the user's subjective evaluation and objective evaluation are performed. Determine the optimal combination of values so that the value ⁇ corresponds well.
  • FIG. 17 is a diagram showing another example of an image in which degradation has locally occurred in the space.
  • FIG. 17 shows an image of the background moving at a high speed from right to left in order to follow the movement of the subject vehicle 170 with a force lens.
  • the user's subjective evaluation differs depending on the speed of movement.
  • the local video degradation 171 that occurred in the background area and the local video degradation 172 that occurred in the subject area have a greater effect on the subjective evaluation of the user by the degradation 172 that occurred in the subject area.
  • the user's subjective evaluation differs depending on the level of attention (attention level) of the user.
  • weighting is performed in consideration of the difference in subjective evaluation depending on the speed of motion of the video, in which deterioration is easily detected depending on the speed of motion of the video! And weighting in consideration of the difference in subjective evaluation depending on the level of attention of the user to the video, such as whether the area where local video degradation occurs is an area of interest like a subject. Increase the estimation accuracy of evaluation values.
  • FIG. 18 is a flowchart showing a method for deriving the spatial feature DS in this embodiment.
  • the first derivation means 121 of the spatio-temporal feature quantity deriving unit 12 calculates and stores the motion vector quantity for each block obtained by dividing the reference video signal RI force evaluation target frame received from the alignment unit 11 ( Fig. 18 Step S30).
  • FIG. 19 is a diagram for explaining a motion vector.
  • a motion vector is a vector indicating the amount of movement (direction and distance) between frames of, for example, an 8 ⁇ 8 pixel block. To find the amount of block movement, find the block with the smallest difference between the current frame and the previous frame. For example, the example of FIG.
  • the first deriving means 121 calculates a motion vector amount for each block for one frame of the reference video signal RI, and calculates its direction and length (norm) for each block.
  • the first deriving means 121 calculates the evaluation target frame necessary for deriving the attention level of each block in accordance with the motion vector distribution characteristics of the reference video signal RI calculated in step S30.
  • a threshold value for each attention level is derived (step S31).
  • the first deriving means 121 has a region having a plurality of block forces having the same motion vector, and if the block belonging to the parenthesis region is equal to or greater than a constant, this region is used as the background region (attention level 2). And a threshold for classifying the block into two as the subject region (attention level 1). There are two or more levels of attention.
  • the first case is when the camera moves up / down / left / right (pan, tilt) as the subject moves. If the camera moves up, down, left, or right as the subject moves, the background area It moves in the direction opposite to the camera movement direction. Therefore, the first deriving means 121 has a plurality of block force areas having the same direction and length as the motion vector, and if the block belonging to this area is more than a constant, this area is set as the background area. And According to this attention level determination method, even when the subject is not powered, it is determined as a background region.
  • the second case is a case where the camera performs a zoom operation (enlargement / reduction) on the subject.
  • motion vectors are generated radially from the subject position (for example, the center of the image) in all directions in the peripheral part.
  • a motion vector is generated from the periphery to the subject position.
  • the length of the motion vector is longer for the motion vector in the background area in the peripheral area than for the subject in the vicinity of the center of the video.
  • the first deriving means 121 when there are a plurality of regions having a block force whose motion vectors are evenly distributed in each direction and whose motion vector length is equal to or greater than a threshold, The background area.
  • a threshold value at this time a predetermined constant value may be used.
  • the force may be obtained as follows from the distribution of motion vectors.
  • the first derivation means 121 obtains a motion vector histogram with the horizontal axis representing the length of the motion vector and the vertical axis representing the frequency of occurrence of the motion vector (number of blocks). .
  • the first deriving means 121 determines an arbitrary boundary value on the horizontal axis of this histogram, obtains the occurrence frequency of a motion vector longer than this boundary value, and the occurrence frequency is, for example, 80% or more of the total number of blocks. When this value is reached, this boundary value is set as a threshold value.
  • the first deriving means 121 calculates a degradation amount S for each block obtained by dividing the evaluation target frame from the reference video signal RI and the degraded video signal PI, and calculates the value for each position in the frame.
  • the amount of degradation S includes parameters such as PSNR, which is the signal-to-noise ratio, and Average Edge Energy, as defined by ANSI.
  • the first deriving means 121 uses the results of steps S30 to S32 to calculate a spatial feature DS that takes into account local video degradation in the space in the evaluation target frame as in the following equation: And memorize it (step S33).
  • Equation (4) N is the number of target blocks, Fli is a weighting factor that depends on the direction and length of the motion vector of block i (i is a natural number from 1 to N), and F2i depends on the attention level of block i
  • the weighting factor, Si is the amount of deterioration of block i. Equation (4) shows that the result of weighting the degradation amount S with the weighting coefficients Fl and F2 is obtained for each block, and the value obtained by averaging the result for each block over the entire evaluation target frame is defined as the spatial feature DS. means.
  • a specific method for deriving weights F1 and F2 is as follows.
  • the weighting coefficient F1 is obtained by calculating the length of the motion vector of the deteriorated video and the weighting coefficient F1 with respect to the length of the motion vector for each block for each target block of the equation (4). Is also derived. As shown in Fig. 20, this F1 is weakly weighted when there is no motion in the video (when the motion vector is short) or when the motion of the video is too fast to follow (the motion vector is long). It is a coefficient that gives a strong weight when the video is medium. Note that the correspondence between the length of the motion vector of the degraded video and the weighting factor F1 is the subjective evaluation characteristics obtained when specific local degradation is applied to regions with different motion vector lengths (this is the spatial feature DS Force).
  • the weighting coefficient F2 is obtained in advance by determining the attention level from the threshold value derived in step S31 from the length and direction of the motion vector for each block for each target block of equation (4). It is derived from the correspondence between the attention level and the weighting coefficient F2.
  • This weighting coefficient F2 is a coefficient that gives a high level of attention as in the subject area, as shown in Fig. 21, a strong weight in the area, a low level of attention as in the background area, and a weak weight in the area! is there.
  • the correspondence between the attention level and the weighting coefficient F2 is specific to video that has been classified in advance (classified according to the camera work in which the subject's movement is matched as described above using the motion vector). Subjective evaluation characteristics obtained when local deterioration is added (this is the average value of the spatial feature DS), and the influence of the weighting coefficient F1 is also taken into account to derive the optimal correspondence.
  • the weighting value F1 is derived from the motion vector for each block at the stage of step 30 but not at the stage of step 33, and is obtained as a table.
  • the motion vector force in one frame is noted.
  • the weight value F2 for each block may be obtained as a table, and may be calculated by referring to these tables at the time of calculation of equation (4) in step 33.
  • the first deriving means 121 of the spatiotemporal feature quantity deriving unit 12 performs the above processing for each frame according to the transition of time.
  • the processing excluding the derivation of the spatial feature DS in step S2 and the processing in steps Sl and S3 are the same as in the first embodiment.
  • weighting is performed in consideration of the difference in subjective evaluation due to the speed of motion of the video, and weighting is performed in consideration of the difference in subjective evaluation due to the level of user attention to the video.
  • the estimation accuracy of the subjective evaluation value can be increased.
  • steps S31 and S32 In video communication services performed in a fixed place (environment where the background is fixed), the processing in steps S31 and S32 only needs to be performed on the subject part. It is also possible to easily calculate the area where there is a difference between frames as the subject area and the area where there is no difference between frames as the background area.
  • This embodiment is a combination of the method for deriving the spatial feature DS described in the first embodiment and the method for deriving the spatial feature DS described in the second embodiment.
  • the first deriving unit 121 of the spatiotemporal feature quantity deriving unit 12 calculates the deterioration amount for each block based on steps S30 to S32 of the second embodiment in consideration of the motion vector. Subsequently, the first deriving means 121 is based on the steps Sl l and S12 in the first embodiment considering the average deterioration amount in the entire frame and the average deterioration amount in the region where the deterioration strength is strong.
  • the spatial feature DS is calculated by 1). In this way, the derivation methods of the first and second embodiments can be combined.
  • the video quality objective evaluation devices of the first to third embodiments are realized by a computer having an interface with a CPU, a storage device, and an external device, and a program for controlling these hardware resources. Can do.
  • a video quality objective evaluation program for realizing the video quality objective evaluation method of the present invention is a flexible program. It is provided as recorded on a recording medium such as a Blu-ray Disc, CD-ROM, DVD-ROM, or memory card.
  • the CPU writes the program read from the recording medium into the storage device, and executes the processes described in the first to third embodiments according to the program.
  • the present invention can be applied to a video quality objective evaluation technique for estimating subjective quality from measurement of a physical feature amount of a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　映像品質客観評価装置は、評価対象となる劣化映像信号（ＰＩ）とこの劣化映像信号の劣化前の信号である基準映像信号（ＲＩ）とから、劣化映像信号（ＰＩ）に生じた劣化の特徴量である時空間特徴量（ＰＣ）を導出する時空間特徴量導出部（１２）と、予め得られている劣化映像とユーザの主観評価値との関係に基づいて時空間特徴量（ＰＣ）に重み付けを行うことにより、劣化映像信号（ＰＩ）についての主観品質Ｙを推定する主観品質推定部（１４）とを備える。このようにすれば劣化が時間・空間方向に局所的に発生しているような映像の場合でも、映像の主観品質を推定する。

Description

明 細 書
映像品質客観評価装置、評価方法およびプログラム
技術分野
[0001] 本発明は、人間が映像を見てその品質を評価する主観評価品質試験を行うことな ぐ映像信号または映像ファイルの物理的特徴量の測定力 人間が見たときに感じる 主観品質を推定する映像品質客観評価装置、評価方法およびプログラムに関するも のである。
背景技術
[0002] 従来の映像提供サービスは、放送のように伝送時のエラーが少な!/、電波等の媒体 を使って映像を提供するものやテープなどの媒体を使って映像を提供するものであ つた。そのため、基準映像と劣化映像とを比較して、主観評価と同等の精度で映像 品質の客観評価値を導出する客観評価技術は、主に符号化歪を対象に適切な評価 値が出せるように検討されてきた。
[0003] よって、従来の客観評価技術として、符号ィ匕歪による劣化が空間的、時間的に比較 的均一であることを利用して、「映像毎の補正係数」や「SN」ある 、は「Sobelフィルタ を適用した劣化量」を用いてフレーム全体の劣化の平均値や時間方向の劣化の平 均値を導出することにより、主観評価と同等の精度で主観品質を推定するような技術 が提案されている（例えば、特開 2004— 80177号公報、米国特許第 5446492号 明細書、米国特許第 6704451号明細書参照)。
[0004] また、岡本淳，吉村憲子，高橋玲， 「映像品質客観評価技術の適用法に関する一 検討」，電子情報通信学会 2002年通信ソサイエティ大会講演論文集 2, no. B— 11 - 14, 2002年 9月， p. 428、岡本淳，栗田孝昭， 「入力映像の特徴量を考慮した映 像品質客観評価法の検討」，信学技報， Vol. 103, No. 289, CQ2003— 52, 20 03年 9月， p. 61—66に開示された技術によれば、目標とする精度で主観評価値を 推定できることが述べられて 、る。
発明の開示
発明が解決しょうとする課題 [0005] 近年、通信ネットワークを使う映像提供サービスが普及し始めている。この通信ネッ トワークにおいては、パケット損失や遅延ゆらぎなどが発生することも多ぐこのような ネットワークの品質劣化現象によって、空間的 フレーム内）に局所的な映像劣化や 時間的に程度が変動する映像劣化が発生する。このような映像劣化現象は、映像品 質に与える影響が大きぐ今まで発生しな力つた劣化現象であるため、従来の評価技 術では映像品質を精度良く評価することができないという問題点があった。
[0006] 本発明は、上記課題を解決するためになされたもので、劣化が時間'空間方向に 局所的に発生しているような映像の場合でも、映像の主観品質を推定することができ る映像品質客観評価装置、評価方法およびプログラムを提供することを目的とする。 課題を解決するための手段
[0007] 本発明は、評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号であ る基準映像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特 徴量を導出する時空間特徴量導出部と、予め得られている劣化映像とユーザの主観 評価値との関係に基づいて前記時空間特徴量に重み付けを行うことにより前記劣化 映像信号についての主観品質を推定する主観品質推定部とを備えるものである。 発明の効果
[0008] 本発明によれば、評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信 号である基準映像信号とから、劣化映像信号に生じた劣化の特徴量である時空間特 徴量を導出する時空間特徴量導出部と、予め得られている劣化映像とユーザの主観 評価値との関係に基づいて時空間特徴量に重み付けを行うことにより、劣化映像信 号についての主観品質を推定する主観品質推定部とを設けることにより、例えば通 信ネットワーク上のパケット損失などに起因する劣化が時間 ·空間方向に局所的に発 生しているような映像の場合でも、映像の主観品質を推定することができ、従来の主 観評価技術を本発明の映像品質客観評価装置に置き換えることにより、主観評価を 行うのに必要とした多大な労力と時間を必要としなくなる。
[0009] また、本発明では、時空間特徴量導出部に、劣化映像信号の評価対象フレームに 生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第 1の導出手段を 設けることにより、劣化の空間的な局所性を考慮した品質評価を行うことができ、主観 評価値の推定精度を高めることができる。
[0010] また、本発明では、時空間特徴量導出部に、劣化映像信号の評価対象フレームに 生じた劣化の時間特徴量を導出する第 2の導出手段と、空間特徴量と時間特徴量と を用いて、評価対象フレームに生じた劣化の時間軸上の局所性を考慮した時空間 特徴量を導出する第 3の導出手段を設けることにより、劣化の時間軸上の局所性を 考慮した品質評価を行うことができ、主観評価値の推定精度を高めることができる。 図面の簡単な説明
[0011] [図 1]図 1は、空間内で局所的に劣化が発生した映像の 1例を示す図である。
[図 2]図 2は、映像のフレーム番号と映像の劣化量との関係の 1例を示す図である。
[図 3]図 3は、本発明の第 1の実施例となる映像品質客観評価装置の構成を示すプロ ック図である。
[図 4]図 4は、本発明の第 1の実施例の映像品質客観評価装置の動作を示すフロー チャートである。
[図 5]図 5は、本発明の第 1の実施例において空間内の局所的映像劣化を考慮した 空間特徴量の導出方法を示すフローチャートである。
[図 6]図 6は、本発明の第 1の実施例におけるブロック毎の劣化量のヒストグラムを示 す図である。
[図 7]図 7は、本発明の第 1の実施例における時間軸上の局所的映像劣化の捉え方 を説明するための図である。
[図 8]図 8は、本発明の第 1の実施例において時間軸上の局所的映像劣化を考慮し た時空間特徴量の導出方法を示すフローチャートである。
[図 9]図 9は、本発明の第 1の実施例の時空間特徴量の導出における単位測定期間 の設定の 1例を示す図である。
[図 10]図 10は、本発明の第 1の実施例の時空間特徴量の導出における単位測定期 間の設定の他の例を示す図である。
[図 11]図 11は、定常平均劣化量と、局所的映像劣化の劣化変動量及び継続時間を 示す図である。
[図 12]図 12は、本発明の第 1の実施例における局所劣化判別閾値の導出関数を示 す図である。
[図 13]図 13は、本発明の第 1の実施例における劣化強度データベースのテーブル の構成を示す図である。
[図 14]図 14は、本発明の第 1の実施例における劣化強度の合計方法を説明するた めの図である。
[図 15]図 15は、本発明の第 1の実施例における第 1の劣化量足し合わせテーブルの 構成を示す図である。
[図 16]図 16は、本発明の第 1の実施例における第 2の劣化量足し合わせテーブルの 構成を示す図である。
[図 17]図 17は、空間内で局所的に劣化が発生した映像の他の例を示す図である。
[図 18]図 18は、本発明の第 2の実施例において空間内の局所的映像劣化を考慮し た空間特徴量の導出方法を示すフローチャートである。
[図 19]図 19は、動きベクトルを説明するための図である。
[図 20]図 20は、本発明の第 2の実施例において局所的映像劣化の動きの速さに対 する重み付け係数を示す図である。
[図 21]図 21は、本発明の第 2の実施例において局所的映像劣化の注目レベルに対 する重み付け係数を示す図である。
発明を実施するための最良の形態
[0012] [第 1の実施例]
パケット損失や遅延ゆらぎなど通信ネットワークの品質劣化による映像劣化は、空 間内で局所的に発生したり、時間軸上で局所的に発生したりする特徴がある。 図 1は、空間内で局所的に劣化が発生した映像の 1例を示す図である。通信ネット ワークのパケット損失や符号誤りによる映像劣化は、映像の動きのある領域を中心と して局所的に生じるため、空間的な局所性を考慮する必要がある。図 1の P
1は、劣化 発生箇所である。
[0013] そこで、本発明では、空間内の局所的映像劣化については、フレーム単位での基 準映像と劣化映像との差分に基づく劣化量と、局所的劣化が発生して!/、る領域単位 での基準映像と劣化映像との差分に基づく劣化量とに対して、実際の劣化映像と主 観評価値との関係力 予め求めておいた重み付けを行うことにより、主観評価値を推 定する。これにより、主観評価値の推定精度を高める。
[0014] 図 2は、時間軸上で局所的に発生した映像劣化の 1例を示す図であり、映像のフレ ーム番号と映像の劣化量との関係の 1例を示す図である。通信ネットワークにパケット 損失や符号誤りが発生すると、コマ飛びにより突然発生する 1フレームフリーズの劣 ィ匕（図 2の J)や、次の I (Intra )フレームがデコードされるまで発生し続ける劣化（図 2 の K)等の程度の大き 、局所的映像劣化が生じる。
[0015] このような時間軸上の局所的映像劣化については、局所的劣化が発生しなかった ときの劣化量と、局所的劣化が発生したときの劣化量の増分 (劣化変動量)及び «続 時間とに対して、予め求めておいた主観評価特性を考慮して重み付けを行うことによ り、主観評価値を推定する。これにより、主観評価値の推定精度を高める。
[0016] 図 3は、本発明の第 1の実施例となる映像品質客観評価装置の構成を示すブロック 図である。以下に動作の概要を説明する。図 3の映像品質客観評価装置では、図示 しない評価対象系（例えばコーデックなど)力も出力された評価対象となる劣化映像 信号 PIと図示しない記憶装置に予め登録された、前記劣化映像信号 PIの劣化前の 信号である基準映像信号 RIとを用いる。
[0017] ァライメント部 11は、フレーム表示間隔やフォーマットを合わせた状態で基準映像 信号 RIと劣化映像信号 PIより両者の時間や位置が一致するところを探し出し、時間 と位置が一致した状態の基準映像信号 RIと劣化映像信号 PIを時空間特徴量導出 部 12に出力する。
[0018] 時空間特徴量導出部 12は、ァライメント部 11において調整された基準映像信号 RI と劣化映像信号 PIとを用い、必要に応じて劣化強度データベース（以下、劣化強度 DBと略する） 13を参照することにより、劣化の物理的特徴量である時空間特徴量 PC を導出して主観品質推定部 14に渡す。時空間特徴量導出部 12は、劣化映像信号 P Iの評価対象フレームに生じた劣化の空間特徴量を導出する第 1の導出手段 121と、 劣化映像信号 PIの評価対象フレームに生じた劣化の時間特徴量を導出する第 2の 導出手段 122と、空間特徴量と時間特徴量とを用いて時空間特徴量 PCを導出する 第 3の導出手段 123とを有する。 [0019] 主観品質推定部 14は、時空間特徴量導出部 12から受け取った時空間特徴量 PC に対して、劣化映像に対するユーザの主観評価値とその劣化映像の時空間特徴量 との対応関係力も予め求められた客観評価値導出関数によって重み付け演算を行う ことにより、客観評価値を導出する。
[0020] 以下、図 3の各部の動作の詳細を説明する。図 4は、図 3の映像品質客観評価装置 の動作を示すフローチャートである。
ァライメント部 11は、劣化映像信号 PIと基準映像信号 RIのフレーム表示間隔とフォ 一マットを合わせた上で、基準映像信号 RIをフレーム単位で時間方向に検索するこ とにより、劣化映像信号 PIと同一フレームの基準映像信号 RIを探索し、さらに探索し た基準映像信号 RIを上下左右方向に動かすことにより、劣化映像信号 PIと基準映 像信号 RIとが画素単位で最も等しくなるように調整した上で、調整した基準映像信号 RIと劣化映像信号 PIを時空間特徴量導出部 12に渡す（図 4ステップ Sl)。
[0021] 時空間特徴量導出部 12は、ァライメント部 11から受け取った基準映像信号 RIと劣 化映像信号 PIに対して以下で述べるような処理を行 、、複数の時空間特徴量 PCを 導出して主観品質推定部 14に渡す (ステップ S2)。
まず、評価対象フレーム内に生じる空間内の局所的映像劣化を考慮した空間特徴 量 DSの導出方法の詳細を説明する。図 5は、空間特徴量 DSの導出方法を示すフロ 一チャートである。
[0022] 時空間特徴量導出部 12の第 1の導出手段 121は、ァライメント部 11から受け取つ た基準映像信号 RIと劣化映像信号 PIとから評価対象フレームを分割したブロック毎 の劣化量 Sを算出して記憶する（図 5ステップ S10)。劣化量 Sとしては、信号対雑音 比である PSNR (Peak Signal to Noise Ratio)や ANSI (American National Standards Institute )で規定された Average Edge Energyなどのパラメータが挙げられる。
[0023] 続いて、第 1の導出手段 121は、算出したブロック毎の劣化量 Sを評価対象フレー ム全体で平均した値であるフレーム平均劣化量 Xave— allと、評価対象フレームのう ち劣化強度が強い領域内で劣化量 Sを平均した値である局所的劣化領域平均劣化 量 Xave— badとを算出して記憶する（ステップ S 11)。図 6は、ブロック毎の劣化量 Sの ヒストグラムを示す図であり、横軸は劣化量 S、縦軸は各劣化量 Sが発生したブロック の個数を劣化量毎に累積したブロック数である。図 6では、右方向にいくほど映像劣 化が大きいものとする。局所的劣化領域平均劣化量 Xave— badは、所定の劣化強度 範囲内（図 6の斜線部）に含まれる劣化量 Sを平均した値である。ここでは、全ブロック 数のうち劣化量が大きい上位 10%のブロック数を所定の劣化強度範囲内とする。
[0024] 次に、第 1の導出手段 121は、あら力じめ主観評価実験により求めておいた係数 A , Bを用いた次式を計算することにより、評価対象フレームにおける空間内の局所的 映像劣化を考慮した空間特徴量 DSを算出して記憶する (ステップ S 12)。
DS = A · Xave— all + B · Xave— bad · · · (1)
式（1)において、 Aは空間内に局所的な映像劣化が生じていない場合の主観評価 特性により予め求められた係数、 Bは空間内に局所的な映像劣化が生じている場合 の主観評価特性により予め求められた係数である。
[0025] 係数 A, Bを導出するためには、符号ィ匕劣化のみ発生している映像 (空間内に局所 的な映像劣化が生じていない映像）に対するユーザの主観評価特性、及び符号ィ匕 劣化に加えてパケット損失等に起因する局所的劣化が発生している映像に対するュ 一ザの主観評価特性に対して、これらの主観評価と空間特徴量 DSがより良く対応す るように最適な値の組み合わせを決定すればょ 、。
[0026] 時空間特徴量導出部 12は、以上の処理を時間の推移に合わせてフレーム毎に行 う。なお、本実施例では、空間特徴量 DSの算出にフレーム平均劣化量 Xave— allと 局所的劣化領域平均劣化量 Xave— badとを用いて 、るが、その他に評価対象フレー ムの各種劣化量分布の統計量を使うことが考えられる。例えば、図 6に示した評価対 象フレームの劣化量分布にお 、て、各劣化量のうち発生頻度の多 、ところの面積や そのブロック数を空間特徴量 DSの算出に用いてもよいし、劣化量の標準偏差や分 散値を用いてもよいし、さらには、フレーム平均劣化量 Xave— allと局所的劣化領域 平均劣化量 Xave— badとの差分値を用いてもよい。また、これらの統計量を組み合わ せて空間特徴量 DSを算出するようにしてもょ 、。
[0027] 次に、時間軸上の局所的映像劣化を考慮した時空間特徴量 PCの詳細な導出方 法を説明する。導出にあたっては、時間軸上の局所的映像劣化が発生しな力つた場 合の映像劣化の影響と時間軸上の局所的映像劣化の影響とを別個に評価し、最終 的にその両者の劣化の影響を考慮して時空間特徴量 PCを導出する。すなわち、図 7に示すように、局所劣化のみで単位測定期間 utにおける劣化の影響を計算すると 共に、単位測定期間 utの平均劣化量 Q2の影響を計算し、両者の劣化の影響を考 慮して時空間特徴量 PCを導出する。なお、単位測定期間 utとフレームは、単位測定 期間 ut≥lフレーム期間の関係にある。図 7の Q1は局所劣化量である。
[0028] 図 8は、時空間特徴量 PCの導出方法を示すフローチャートである。まず、時空間特 徴量導出部 12は、ァライメント部 11から受け取った基準映像信号 RIと劣化映像信号 PIとから単位測定期間 ut (フレームあるいは一定の測定間隔）毎に劣化量 Cを算出し て記憶する（図 8ステップ S 20)。
[0029] 第 2の導出手段 122は、時間特徴量を導出する。この時間特徴量としては、フレー ムレート、フレームスキップ数、 ITU-T- IRecP. 910で規定された TI値、 ANSIで 規定された特徴量などがある。そして、この第 2の導出手段 122が導出した時間特徴 量を劣化量 Cとして使うことができ、さらに第 1の導出手段 121で先に導出された空間 特徴量 DSや空間特徴量 DSの導出時に利用した劣化量 Sも劣化量 Cとして使うこと ができる。なお、上述のような劣化量を用いて、予めフレーム毎の主観評価値として 変換 '推定した値 (客観評価値)を劣化量 Cとして用いても良 ヽ。
[0030] ステップ S20の処理の結果、時系列に計算された劣化量 Cが導出されることになる 。時空間特徴量導出部 12の第 3の導出手段 123は、劣化量 Cから定常平均劣化量 Dconsと、局所的映像劣化の劣化変動量 d及びその継続時間 tを単位測定期間 ut 毎に算出して記憶する（図 8ステップ S21)。なお、単位測定期間 utは、図 9に示すよ うに互いに重なることなく設定してもよ 、し、図 10に示すように互 、に重なるように設 定してちよい。
[0031] 図 11に、定常平均劣化量 Dconsと、局所的映像劣化の劣化変動量 d及び継続時 間 tを示す。定常平均劣化量 Dconsは、単位測定期間 utにおいて局所的映像劣化 発生時を除いた定常時の劣化量 Cの平均値で、単位測定期間 ut毎に算出される。 なお、単位測定期間 utの途中においては、直前の単位測定期間 utで算出された定 常平均劣化量 Dconsが使用される。
[0032] 局所的映像劣化の劣化変動量 dは、局所的映像劣化量と定常平均劣化量 Dcons との差分値である。本実施例では、単位測定期間 utにおいて定常平均劣化量 Dcon sとの差分値が局所劣化判別閾値以上になったときに局所的映像劣化が発生したと 判断し、この差分値が局所劣化判別閾値以上になった最初の劣化量 Cを局所的映 像劣化量として、このときの定常平均劣化量 Dconsとの差を劣化変動量 dとする。
[0033] 局所的映像劣化の継続時間 tは、局所的映像劣化が発生したときに、劣化量 Cと定 常平均劣化量 Dconsとの差分値が（d Δν)以上、（d+ Δν)以下の範囲内にある 時間である。 Δνは予め定められた許容変動範囲である。局所的映像劣化が発生し た力否かを判断するための局所劣化判別閾値は、図 12に示すような局所劣化判別 閾値導出関数から、現在の定常平均劣化量 Dconsに対応する値が決定される。
[0034] 局所劣化判別閾値導出関数を予め用意しておくためには、局所的映像劣化が発 生して 、る映像に対するユーザの主観評価特性を、定常平均劣化量 Dconsを変化 させながら調べ、ユーザが主観的に行った局所的映像劣化の判別と局所劣化判別 閾値に基づく局所的映像劣化の判別とが良く対応するように、局所劣化判別閾値導 出関数を決定して、第 3の導出手段 123に記憶させておけばよい。なお、局所的映 像劣化は、単位測定期間 ut内に複数回発生することがあるので、局所的映像劣化 が発生する度に劣化変動量 dと継続時間 tの組を求めて保持することになる。
[0035] 次に、第 3の導出手段 123は、ステップ S21で算出した劣化変動量 dと継続時間 tに 基づいて劣化強度 DB13を参照し、単位測定期間 utにおける劣化変動量 dと継続時 間 tとがユーザの主観評価に与える影響を考慮した劣化強度 Dを求めて記憶する（図 8ステップ S22)。図 13に示すように、劣化強度 DB13には、継続時間 tと劣化強度 D との関係を示す継続時間 劣化強度曲線が登録された継続時間 劣化強度テープ ル 130が、各劣化変動量 d毎に予め用意されている。
[0036] 第 3の導出手段 123は、このような劣化強度 DB13を参照して、劣化変動量 dと継 続時間 tの組を劣化強度 Dに変換する。なお、継続時間 劣化強度曲線は、局所的 映像劣化が発生して ヽる映像に対するユーザの主観評価特性を、劣化変動量 dと継 続時間 tを変化させながら調べ、ユーザの主観評価と劣化強度 Dが良く対応するよう に決定すればよい。第 3の導出手段 123は、単位測定期間 ut内で劣化変動量 dと継 続時間 tの組が複数得られた場合には、各組毎にステップ S22の処理を行う。 [0037] 続いて、第 3の導出手段 123は、劣化強度 Dを単位測定期間 ut毎に合計して、合 計値を記憶する（図 8ステップ S23)。劣化強度 Dを合計するためには、ステップ S22 で導出した劣化強度 Dを単純に足してもよいが、ユーザの主観特性に合わせるため 次の点を考慮する。すなわち、ユーザの主観評価は、映像中に強い局所的劣化と弱 い局所的劣化の両方が存在すると、劣化強度の強い局所的劣化に影響される。また 、ユーザの主観評価は、強度が同じ程度の局所的劣化が複数発生している場合、そ れらの劣化の合計値に影響される。
[0038] 以上のような点を考慮して、図 14に示すように、単位測定期間 ut内で発生した複 数の局所劣化の劣化強度 Dl, D2, D3, · · · · , DN- 1, DNを降順に並べ、劣化 強度の小さい方力も順番に図 15のような第 1の劣化量足し合わせテーブル 124を参 照しながら足し合わせてゆく。第 1の劣化量足し合わせテーブル 124は、劣化強度 D aと Dbと合計劣化強度 Dsumとを対応付けて記憶するものであり、第 3の導出手段 12 3内に予め用意されている。
[0039] 図 14のステップ 201で劣化強度 Dl, D2, D3, · · · · , DN—l, DNを降順に並べ 直したものを D，l, D' 2, D' 3, · · · · , D' N— 1, D' Nとすると、初回の足し合わせ では、ステップ 202に示すように、最小の劣化強度 D' 1を Da、次に小さい劣化強度 D，2を Dbとして、この劣化強度 Da, Dbを基に第 1の劣化量足し合わせテーブル 12 4を参照して、劣化強度 Da, Dbに対応する合計劣化強度 Dsumを取得する (ステツ プ 203)。
[0040] 2回目以降の足し合わせでは、ステップ 204に示すように、前回導出した合計劣化 強度 Dsumを Da、足し合わせして 、な 、未処理の劣化強度のうち最小の劣化強度 を Dbとして、第 1の劣化量足し合わせテーブル 124を参照し、劣化強度 Da, Dbに対 応する合計劣化強度 Dsumを取得する (ステップ 205)。以下、劣化強度 D' Nまでス テツプ 204, 205に示した処理を繰り返す。第 3の導出手段 123は、最終的に得られ た合計劣化強度 Dsumを単位測定期間 utにおける劣化強度の合計値 Dpartとして feす。。
[0041] なお、第 1の劣化量足し合わせテーブル 124は、局所的映像劣化が発生している 映像に対するユーザの主観評価特性を、 2つの劣化強度 Daと Dbを変化させながら 調べ、ユーザの主観評価と合計劣化強度 Dsumが良く対応するように決定されたも のである。第 1の劣化量足し合わせテーブル 124によれば、劣化強度 Daよりも劣化 強度 Dbが大きいときには、合計劣化強度 Dsumは劣化強度 Dbに近い値となり、また 劣化強度 Daと Dbが同程度の値のときには、合計劣化強度 Dsumは劣化強度 Daと D bの合計値に近い値となることが分かる。これにより、前述のように劣化強度 Dの合計 値をユーザの主観特性に合わせることができる。
[0042] 次に、第 3の導出手段 123は、単位測定期間 utにおける劣化強度の合計値 Dpart と定常平均劣化量 Dconsに基づいて図 16のような第 2の劣化量足し合わせテープ ル 125を参照することにより、時間軸上の局所的映像劣化を考慮した時空間特徴量 PCを取得して記憶する（図 8ステップ S24)。
[0043] 第 2の劣化量足し合わせテーブル 125は、劣化強度の合計値 Dpartと定常平均劣 化量 Dconsと時空間特徴量 PCとを対応付けて記憶するものであり、第 3の導出手段 123内に予め用意されている。この第 2の劣化量足し合わせテーブル 125は、局所 的映像劣化が発生して 、る映像に対するユーザの主観評価特性を、劣化強度の合 計値 Dpartと定常平均劣化量 Dconsを変化させながら調べ、ユーザの主観評価と時 空間特徴量 PCが良く対応するように決定されたものである。
[0044] 以上で、時空間特徴量導出部 12の処理が終了する。なお、前述のようにステップ S 20で求める劣化量 Cには、フレームレートやフレームスキップ数などの複数の種類が ある。時空間特徴量導出部 12は、ステップ S20で複数種類の劣化量 Cを求める場合 、劣化量 Cの種類毎にステップ S21〜S24の処理を行う。したがって、単位測定期間 ut毎に得られる時空間特徴量 PCも複数となる。
[0045] 次に、主観品質推定部 14は、時空間特徴量導出部 12から受け取った複数の時空 間特徴量 PCに基づいて次式のような重み付け演算を行うことにより、客観評価値を 算出する（図 4ステップ S3)。
Y=F (X1, X2, · · · ·Χη) · · · (2)
式（2)において、 Υは客観評価値、 XI, Χ2, · · · ·Χηは時空間特徴量 PC、 Fは客観 評価値導出関数である。
[0046] 時空間特徴量 PC力 1, X2の 2つの場合、客観評価値導出関数 Fは例えば次式 のようになる。
Y=F (X1, X2) = a Xl + j8 X2+ y · · · (3)
XIは、例えば劣化量 Cとして空間特徴量 DSを用いたときに、空間特徴量 DSからス テツプ S21〜S24の処理によって得られた時空間特徴量 PCである。 X2は、例えば 劣化量 Cとしてフレームレートを用いたときに、フレームレートから得られた時空間特 徴量 PCである。
[0047] α , β , yは予め定められた係数である。係数 α , β , γを導出するためには、局 所的映像劣化が発生して 、る映像に対するユーザの主観評価特性を、劣化量を変 ィ匕させながら調べ、ユーザの主観評価と客観評価値 Υが良く対応するように最適な 値の組み合わせを決定すればょ 、。
[0048] [第 2の実施例]
次に、本発明の第 2の実施例について説明する。図 17は、空間内で局所的に劣化 が発生した映像の他の例を示す図である。図 17は、被写体である車 170の移動を力 メラで追って 、るために、背景が右から左へ速 、速度で移動して 、る映像を示して ヽ る。空間内の局所的映像劣化の場合、動きが速ぐ目に追えないような箇所に局所 的映像劣化 171が発生したとしても、ユーザの主観評価に与える影響が小さいといつ たように、映像の動きの速さによりユーザの主観評価に違いが生じる。また、背景領 域で発生した局所的映像劣化 171と被写体領域で発生した局所的映像劣化 172と では被写体領域で発生した劣化 172の方がユーザの主観評価に与える影響が大き Vヽと 、つたように、映像に対するユーザの注目レベル（注目度）によりユーザの主観 評価に違いが生じる。
[0049] そこで、本実施例では、映像の動きの速さによって劣化が検知され易!、場合と検知 され難い場合があるという、映像の動きの速さによる主観評価の相違を考慮して重み 付けを行うことにより、また局所的映像劣化が起こる領域が被写体のように注目される 領域かどうかという、映像に対するユーザの注目レベルによる主観評価の相違を考 慮して重み付けを行うことにより、主観評価値の推定精度を高める。
[0050] 本実施例の映像品質客観評価装置の構成及び処理の流れは、第 1の実施例と同 様であるので、図 3、図 4の符号を用いて本実施例について説明する。本実施例が第 1の実施例と異なる点は、図 4のステップ S2の処理のうち、時空間特徴量導出部 12 の第 1の導出手段 121による空間特徴量 DSの導出方法である。以下、評価対象フ レーム内に生じる空間内の局所的映像劣化を考慮した空間特徴量 DSの導出方法 を説明する。図 18は、本実施例における空間特徴量 DSの導出方法を示すフローチ ヤートである。
[0051] 時空間特徴量導出部 12の第 1の導出手段 121は、ァライメント部 11から受け取つ た基準映像信号 RI力 評価対象フレームを分割したブロック毎の動きベクトル量を算 出して記憶する（図 18ステップ S30)。図 19は、動きベクトルを説明するための図で ある。動きベクトルとは、例えば 8 X 8画素のブロックのフレーム間の移動量（方向と距 離）を示すベクトルである。ブロックの移動量を求めるには、現在のフレームと 1つ前 のフレームで差分値が最小となるブロックを見つけ出すようにすればよい。例えば図 19の例では、ボール 190が左下に動くシーンを示しており、 1つ前のフレーム fNの ブロック Eが現在のフレーム fN+ 1では E，に動いた例を示している。このときの動き ベクトルが図 19の Vである。第 1の導出手段 121は、基準映像信号 RIの 1フレームを 対象としてブロック毎の動きベクトル量を算出し、ブロック毎にその方向と長さ（ノルム )を算出する。
[0052] 続いて、第 1の導出手段 121は、ステップ S30で計算した基準映像信号 RIの動き ベクトルの分布特性に合わせて、各ブロックの注目レベルを導出するために必要とな る評価対象フレーム毎の注目レベルの閾値を導出する (ステップ S31)。ここでは、第 1の導出手段 121は、同じ動きベクトルを持つ複数のブロック力もなる領域が存在し、 かっこの領域に属するブロックがー定数以上の場合は、この領域を背景領域 (注目 レベル 2)とし、それ以外の動きベクトルを持つブロックを被写体領域（注目レベル 1) として、 2つに分類するための閾値を導出する。なお、この注目レベルは 2つ以上存 在してちょい。
[0053] なお、映像に対するユーザの注目レベルを判定する際には、被写体の動きに合わ せたカメラワークを考慮すると、背景が動く場合として以下の 2つが考えられる。
まず、第 1の場合は、被写体の動きに合わせてカメラが上下左右 (パン、チルト）に 動く場合である。被写体の動きに合わせてカメラが上下左右に動く場合、背景領域は カメラの移動方向と逆の向きに移動することになる。そこで、第 1の導出手段 121は、 動きベクトルの方向と長さが互いに等しい複数のブロック力 なる領域が存在し、力 つこの領域に属するブロックがー定数以上の場合は、この領域を背景領域とする。な お、この注目レベルの判定法によると、被写体が動力ない場合も背景領域として判定 すること〖こなる。
[0054] 第 2の場合は、被写体に対してカメラがズーム操作 (拡大、縮小)をする場合である 。被写体を拡大しょうとすると、被写体の位置 (例えば映像の中央部）から周辺部のあ らゆる方向に向力つて放射状に動きベクトルが生じる。逆に、被写体を縮小しようとす ると、周辺部から被写体の位置に向力つて動きベクトルが生じる。また、被写体を拡 大又は縮小しょうとするとき、動きベクトルの長さは映像の中央部付近に位置する被 写体の動きベクトルの長さよりも周辺部の背景領域の動きベクトルの方が長い。
[0055] そこで、第 1の導出手段 121は、動きベクトルが各方向に均等に分布し、かつ動き ベクトルの長さが閾値以上の複数のブロック力 なる領域が存在する場合は、この領 域を背景領域とする。このときの閾値としては、予め定められた一定値を用いてもよい 力 動きベクトルの分布から以下のように求めるようにしてもよい。動きベクトルの分布 力 閾値を求める場合、第 1の導出手段 121は、横軸に動きベクトルの長さをとり、縦 軸に動きベクトルの発生頻度（ブロック数）をとつた動きベクトルのヒストグラムを求める 。そして、第 1の導出手段 121は、このヒストグラムの横軸上に任意の境界値を定めて 、この境界値よりも長い動きベクトルの発生頻度を求め、発生頻度が全ブロック数の 例えば 80%以上に達するとき、この境界値を閾値とする。
[0056] 次に、第 1の導出手段 121は、基準映像信号 RIと劣化映像信号 PIとから評価対象 フレームを分割したブロック毎の劣化量 Sを算出し、フレーム内の位置毎にその値を 記憶する（ステップ S32)。劣化量 Sとしては、信号対雑音比である PSNRや ANSIで 規定された Average Edge Energyなどのパラメータが挙げられる。
[0057] 最後に、第 1の導出手段 121は、ステップ S30〜S32の結果を利用して、次式のよ うに評価対象フレームにおける空間内の局所的映像劣化を考慮した空間特徴量 DS を算出して記憶する (ステップ S33)。
DS = (1/N) X∑ (Fli X F2i X Si) · · · (4) 式（4)において、 Nは対象ブロック数、 Fliはブロック i (iは 1〜Nまでの自然数）の動 きベクトルの方向や長さに依存した重み付け係数、 F2iはブロック iの注目レベルに 依存した重み付け係数、 Siはブロック iの劣化量である。式 (4)は、劣化量 Sを重み 付け係数 Fl, F2で重み付けした結果をブロック毎に求めて、このブロック毎の結果 を評価対象フレーム全体で平均した値を空間特徴量 DSとすることを意味する。
[0058] 具体的な重み付け F1と F2の導出方法は以下の通りである。
重み付け係数 F1は、式 (4)の対象ブロック毎 がインクリメントされる毎）に、ブロッ ク毎の動きベクトルの長さに対して、予め求められた劣化映像の動きベクトルの長さと 重み付け係数 F1との対応関係力も導出される。この F1は図 20に示すように映像に 動きがない場合 (動きベクトルが短い場合）、あるいは映像の動きが目で追えないくら い速い場合 (動きベクトルが長い場合）には、弱く重みを付け、映像が中程度である 場合には強く重みをつける係数である。なお、劣化映像の動きベクトルの長さと重み 付け係数 F1との対応関係は、動きベクトルの長さが異なる領域に特定の局所劣化を 加えた場合に得られる主観評価特性 (これを空間特徴量 DSの平均値とする)力 導 出する。
重み付け係数 F2は、式 (4)の対象ブロック毎 がインクリメントされる毎）に、ブロッ ク毎の動きベクトルの長さと方向より、ステップ S31で導出した閾値から注目レベルを 判定し、予め求められている注目レベルと重み付け係数 F2との対応関係から導出さ れる。この重み付け係数 F2は、図 21に示すように被写体領域のように注目レベルが 高 、領域では強く重みを付け、背景領域のように注目レベルが低!、領域では弱く重 みがつけられる係数である。なお、注目レベルと重み付け係数 F2との対応関係は、 予め注目レベルを分類（動きベクトルを用いて先に述べたように被写体の動きあわせ たカメラワークに応じて分類)した映像に対して特定の局所劣化を加えた場合に得ら れる主観評価特性 (これを空間特徴量 DSの平均値とする)カゝら重み付け係数 F1の 影響も考慮に入れて最適な対応関係を導出する。
[0059] ここで、ステップ 33の段階ではなぐステップ 30の段階でブロック毎の動きベクトル から、重み付け値 F1を導出してテーブルとして求めておくと共に、ステップ 31の段階 で 1フレームにおける動きベクトル力 注目レベルを判別する閾値を導出した後に、 ブロック毎の重み付け値 F2をテーブルとして求めておき、ステップ 33において式 (4) の計算時にそれらのテーブルを参照して計算しても良いものとする。
こうして、空間特徴量 DSの導出が終了する。時空間特徴量導出部 12の第 1の導 出手段 121は、以上の処理を時間の推移に合わせてフレーム毎に行う。ステップ S2 のうち空間特徴量 DSの導出を除く処理、及びステップ Sl、 S3の処理は第 1の実施 例と々である。
[0060] 本実施例によれば、映像の動きの速さによる主観評価の相違を考慮して重み付け を行い、また映像に対するユーザの注目レベルによる主観評価の相違を考慮して重 み付けを行うことにより、主観評価値の推定精度を高めることができる。
なお、決まった場所で行う映像コミュニケーションサービス (背景が固定されて 、る 環境）においては、ステップ S31, S32の処理を被写体部分についてのみ行えば済 むため、ステップ S30において動きベクトルではなぐフレーム間差分を求め、フレー ム間差分がある領域を被写体領域、フレーム間差分がな!ヽ領域を背景領域として簡 易に計算することも考えられる。
[0061] [第 3の実施例]
次に、本発明の第 3の実施例について説明する。本実施例は、第 1の実施例で説 明した空間特徴量 DSの導出方法と第 2の実施例で説明した空間特徴量 DSの導出 方法とを組み合わせるものである。
[0062] すなわち、時空間特徴量導出部 12の第 1の導出手段 121は、動きベクトルを考慮 した第 2の実施例のステップ S30〜S32に基づいて、ブロック毎の劣化量を算出する 。続いて、第 1の導出手段 121は、フレーム全体での平均劣化量と劣化強度が強い 領域内での平均劣化量とを考慮した第 1の実施例のステップ Sl l, S12に基き、式（ 1)により空間特徴量 DSを算出する。こうして、第 1、第 2の実施例の導出方法を組み 合わせることができる。
[0063] なお、第 1〜第 3の実施例の映像品質客観評価装置は、 CPU,記憶装置および外 部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプ ログラムによって実現することができる。このようなコンピュータにおいて、本発明の映 像品質客観評価方法を実現させるための映像品質客観評価プログラムは、フレキシ ブルディスク、 CD-ROM, DVD-ROM,メモリカードなどの記録媒体に記録され た状態で提供される。 CPUは、記録媒体から読み込んだプログラムを記憶装置に書 き込み、プログラムに従って第 1〜第 3の実施例で説明した処理を実行する。
産業上の利用可能性
本発明は、映像信号の物理的特徴量の測定カゝら主観品質を推定する映像品質客 観評価技術に適用することができる。

Claims

請求の範囲
[1] 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映 像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導 出する時空間特徴量導出部と、予め得られている劣化映像とユーザの主観評価値と の関係に基づいて前記時空間特徴量に重み付けを行うことにより前記劣化映像信号 についての主観品質を推定する主観品質推定部とを備えることを特徴とする映像品 質客観評価装置。
[2] 前記時空間特徴量導出部は、前記劣化映像信号の評価対象フレームに生じた劣 化の空間的な局所性を考慮した空間特徴量を導出する第 1の導出手段を備えること を特徴とする請求項 1記載の映像品質客観評価装置。
[3] 前記時空間特徴量導出部の第 1の導出手段は、前記評価対象フレーム内の空間 的な劣化量分布の統計量と、予め得られて!/、る前記統計量とユーザの主観評価値と の関係に基づ ヽて、前記空間特徴量を求めることを特徴とする請求項 2記載の映像 品質客観評価装置。
[4] 前記劣化量分布の統計量として、評価対象フレーム全体で劣化量を平均した値で あるフレーム平均劣化量、前記評価対象フレームのうち所定の劣化強度範囲に含ま れる劣化が生じた領域の大きさ、この領域に属する劣化量を平均した値である局所 的劣化領域平均劣化量、前記フレーム平均劣化量と前記局所的劣化領域平均劣化 量との差分値のうちの 、ずれかあるいはこれらの値の中の任意の組み合わせを用い ることを特徴とする請求項 3記載の映像品質客観評価装置。
[5] 前記時空間特徴量導出部は、前記劣化映像信号の評価対象フレームに生じた劣 化の時間特徴量を導出する第 2の導出手段と、前記空間特徴量と時間特徴量とを用 いて、前記評価対象フレームに生じた劣化の空間的な局所性と時間軸上の局所性と を考慮した前記時空間特徴量を導出する第 3の導出手段とを備えることを特徴とする 請求項 2記載の映像品質客観評価装置。
[6] 前記時空間特徴量導出部の第 3の導出手段は、前記空間特徴量と時間特徴量 の各々を劣化量とし、時間軸上の局所的な劣化量と、時間軸上に局所的な劣化が 生じて!/ヽな!ヽ場合の平均劣化量と、予め得られて!/ヽる劣化量とユーザの主観評価値 との関係に基づいて、前記時空間特徴量を前記空間特徴量と時間特徴量の各々に ついて導出することを特徴とする請求項 5記載の映像品質客観評価装置。
[7] 前記時空間特徴量導出部の第 3の導出手段は、予め得られている劣化量とユーザ の主観評価値との関係に基づいて局所劣化判別閾値を決定し、現時点の劣化量と 現時点までの前記平均劣化量との差分値が前記局所劣化判別閾値以上のとき、前 記局所的劣化が発生したと判断することを特徴とする請求項 6記載の映像品質客観 評価装置。
[8] 前記平均劣化量に対する前記局所的劣化の変動量及び «続時間がユーザの主 観評価に与える影響を考慮して決定された、前記局所的劣化の変動量及び継続時 間と劣化強度との関係を記憶する劣化強度データベースを備え、前記時空間特徴 量導出部の第 3の導出手段は、前記局所的劣化が発生する度に、この局所的劣化 の変動量及び継続時間に対応する劣化強度を前記劣化強度データベースから取得 することを特徴とする請求項 7記載の映像品質客観評価装置。
[9] 劣化量とユーザの主観評価値との関係に基づいて決定された、劣化強度の合計値 を記憶する第 1のテーブルと、劣化量とユーザの主観評価値との関係に基づ!/、て決 定された、劣化強度の合計値と時空間特徴量との関係を記憶する第 2のテーブルと を備え、前記時空間特徴量導出部の第 3の導出手段は、前記劣化強度データべ一 スから取得した劣化強度を前記第 1のテーブルに基づいて単位測定期間毎に合計 し、この劣化強度の合計値力 前記第 2のテーブルに基づ 、て前記時空間特徴量を 導出することを特徴とする請求項 8記載の映像品質客観評価装置。
[10] 前記時空間特徴量導出部の第 1の導出手段は、フレームを分割したブロック毎のフ レーム間差分値に基づいて前記基準映像信号における映像の動きをブロック毎に検 出し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のプロ ックで検出した映像の動きと、予め得られている劣化映像の動きの速さとユーザの主 観評価値との関係に基づいてブロック毎に重み付けすることにより、前記空間特徴量 を求めることを特徴とする請求項 2記載の映像品質客観評価装置。
[11] 前記時空間特徴量導出部の第 1の導出手段は、フレームを分割したブロック毎の 動きベクトルに基づいて前記基準映像信号における映像の動きをブロック毎に検出 し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のブロッ クで検出した映像の動きと、予め得られている劣化映像の動きの速さとユーザの主観 評価値との関係に基づいてブロック毎に重み付けすることにより、前記空間特徴量を 求めることを特徴とする請求項 2記載の映像品質客観評価装置。
[12] 前記時空間特徴量導出部の第 1の導出手段は、フレームを分割したブロック毎の 動きベクトルに基づいて前記基準映像信号に対するユーザの注目度をブロック毎に 導出し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のブ ロックで導出した注目度と、予め得られて 、る劣化映像に対するユーザの注目度とそ の劣化映像に対するユーザの主観評価値との関係に基づいてブロック毎に重み付 けすることにより、前記空間特徴量を求めることを特徴とする請求項 2記載の映像品 質客観評価装置。
[13] 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映 像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導 出する時空間特徴量導出手順と、予め得られている劣化映像とユーザの主観評価 値との関係に基づいて前記時空間特徴量に重み付けを行うことにより、前記劣化映 像信号についての主観品質を推定する主観品質推定手順とを備えることを特徴とす る映像品質客観評価方法。
[14] 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映 像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導 出する時空間特徴量導出手順と、予め得られている劣化映像とユーザの主観評価 値との関係に基づいて前記時空間特徴量に重み付けを行うことにより、前記劣化映 像信号についての主観品質を推定する主観品質推定手順とをコンピュータに実行さ せることを特徴とする映像品質客観評価プログラム。
PCT/JP2005/019019 2004-10-18 2005-10-17 映像品質客観評価装置、評価方法およびプログラム WO2006043500A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2005800335748A CN101036399B (zh) 2004-10-18 2005-10-17 视频质量客观评价设备及评价方法
JP2006542965A JP4733049B2 (ja) 2004-10-18 2005-10-17 映像品質客観評価装置、評価方法およびプログラム
CA2582531A CA2582531C (en) 2004-10-18 2005-10-17 Video quality objective evaluation device, evaluation method, and program
EP05793444A EP1804519A4 (en) 2004-10-18 2005-10-17 OBJECTIVE VIDEO QUALITY EVALUATION DEVICE, EVALUATION METHOD AND PROGRAM
US11/663,679 US8130274B2 (en) 2004-10-18 2005-10-17 Video quality objective assessment device, assessment method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-303204 2004-10-18
JP2004303204 2004-10-18
JP2005-201916 2005-07-11
JP2005201916 2005-07-11

Publications (1)

Publication Number Publication Date
WO2006043500A1 true WO2006043500A1 (ja) 2006-04-27

Family

ID=36202916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/019019 WO2006043500A1 (ja) 2004-10-18 2005-10-17 映像品質客観評価装置、評価方法およびプログラム

Country Status (7)

Country Link
US (1) US8130274B2 (ja)
EP (1) EP1804519A4 (ja)
JP (1) JP4733049B2 (ja)
KR (1) KR100858999B1 (ja)
CN (1) CN101036399B (ja)
CA (1) CA2582531C (ja)
WO (1) WO2006043500A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811835B1 (ko) 2006-10-25 2008-03-10 주식회사 에스원 동영상 특징량 추출방법 및 이를 이용한 내용 기반 동영상검색방법
JP2008131658A (ja) * 2006-11-22 2008-06-05 Tektronix Inc ビデオ・フレーム測定装置及び方法
KR100893609B1 (ko) 2007-06-05 2009-04-20 주식회사 케이티 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법
WO2009116666A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP2009273127A (ja) * 2008-04-30 2009-11-19 Thomson Licensing フレーム系列の歪んだバージョンの品質を評価する方法
JP2010206790A (ja) * 2009-03-05 2010-09-16 Tektronix Inc 信号フィルタ処理方法及び装置並びにイメージ整列方法
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
JPWO2009133879A1 (ja) * 2008-04-30 2011-09-01 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
JP2015520548A (ja) * 2012-04-23 2015-07-16 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチメディア品質を評価する方法及び装置
US10116929B2 (en) 2012-08-22 2018-10-30 Huawei Technologies Co., Ltd. Multimedia quality monitoring method, and device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
JP2009260941A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
CN101616315A (zh) * 2008-06-25 2009-12-30 华为技术有限公司 一种视频质量评价方法、装置和系统
CN101626506B (zh) 2008-07-10 2011-06-01 华为技术有限公司 一种视频码流的质量评估方法、装置及系统
EP2383665B1 (en) 2009-01-23 2017-10-25 Nec Corporation Matching weighting information extracting device
FR2947069A1 (fr) * 2009-06-19 2010-12-24 Thomson Licensing Procede de selection de versions d'un document parmi une pluralite de versions recues a la suite d'une recherche, et recepteur associe
CN101827280B (zh) * 2010-02-04 2012-03-21 深圳市同洲电子股份有限公司 视频输出质量的检测方法和装置
CN102223565B (zh) * 2010-04-15 2013-03-20 上海未来宽带技术股份有限公司 一种基于视频内容特征的流媒体视频质量评估方法
EP2564592A4 (en) * 2010-04-30 2015-06-17 Thomson Licensing METHOD AND APPARATUS FOR MEASURING VIDEO QUALITY USING AT LEAST ONE SEMI-SUPERVISED LEARNING RECTIFIER FOR PREDICTING AN AVERAGE OBSERVATION NOTE
PL2649801T3 (pl) * 2010-12-10 2015-08-31 Deutsche Telekom Ag Sposób i urządzenie do obiektywnej oceny jakościowej wideo na podstawie ciągłych oszacowań widoczności utraty pakietów
CN102209257B (zh) * 2011-06-17 2013-11-20 宁波大学 一种立体图像质量客观评价方法
US9202269B2 (en) * 2011-06-21 2015-12-01 Thomson Licensing User terminal device, server device, system and method for assessing quality of media data
CN102271279B (zh) * 2011-07-22 2013-09-11 宁波大学 一种立体图像的最小可察觉变化步长的客观分析方法
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
FR2982449A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede d'evaluation d'au moins un defaut de qualite dans un signal de donnees, dispositif et programme d'ordinateurs associes
KR20140101745A (ko) * 2011-11-28 2014-08-20 톰슨 라이센싱 다수 아티팩트를 고려한 비디오 품질 측정
CN103152599A (zh) * 2013-02-01 2013-06-12 浙江大学 基于有序回归的移动视频业务用户体验质量评估方法
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
CN103281555B (zh) * 2013-04-24 2015-06-10 北京邮电大学 基于半参考评估的视频流业务QoE客观评估方法
CN104463339A (zh) * 2014-12-23 2015-03-25 合一网络技术(北京)有限公司 多媒体资源制作者的评估方法及其装置
US10674180B2 (en) * 2015-02-13 2020-06-02 Netflix, Inc. Techniques for identifying errors introduced during encoding
DE102016201987A1 (de) * 2015-02-16 2016-08-18 Robert Bosch Engineering and Business Solutions Ltd. Ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik
CN105163106B (zh) * 2015-07-22 2017-04-12 天津科技大学 一种多重数据处理的视频质量评价系统
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股（北京）有限公司 全景视频质量判断方法及系统
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
KR101899070B1 (ko) 2017-07-19 2018-09-14 국방과학연구소 랜덤신호에 대한 강건성 정량화를 통한 단독 영상 품질 평가 방법 및 장치
CN109255389B (zh) * 2018-09-28 2022-03-25 中国科学院长春光学精密机械与物理研究所 一种装备评价方法、装置、设备及可读存储介质
KR102192017B1 (ko) * 2019-07-16 2020-12-16 연세대학교 산학협력단 인간의 시각 특성을 반영한 비디오의 화질 평가 장치 및 방법
CN113473117B (zh) * 2021-07-19 2022-09-02 上海交通大学 一种基于门控循环神经网络的无参考音视频质量评价方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01298890A (ja) 1988-05-27 1989-12-01 Nippon Telegr & Teleph Corp <Ntt> 画像誤差評価方法
JPH0690468A (ja) 1992-09-09 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 伝送路バースト符号誤り評価装置
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JPH09200805A (ja) * 1996-01-11 1997-07-31 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
JPH09307930A (ja) * 1996-05-10 1997-11-28 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
US6239834B1 (en) 1996-01-11 2001-05-29 Kokusai Denshin Denwa Co., Ltd. Apparatus for evaluating digital picture quality
US6704451B1 (en) 1998-03-02 2004-03-09 Koninklijke Kpn N.V. Method and arrangement for objective assessment of video quality
JP2004080177A (ja) 2002-08-13 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体
JP2004172753A (ja) * 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 映像・音声品質客観評価方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010159B2 (en) * 2001-04-25 2006-03-07 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
US6822675B2 (en) * 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
EP1445958A1 (en) * 2003-02-05 2004-08-11 STMicroelectronics S.r.l. Quantization method and system, for instance for video MPEG applications, and computer program product therefor
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01298890A (ja) 1988-05-27 1989-12-01 Nippon Telegr & Teleph Corp <Ntt> 画像誤差評価方法
JPH0690468A (ja) 1992-09-09 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 伝送路バースト符号誤り評価装置
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JPH09200805A (ja) * 1996-01-11 1997-07-31 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
US6239834B1 (en) 1996-01-11 2001-05-29 Kokusai Denshin Denwa Co., Ltd. Apparatus for evaluating digital picture quality
JPH09307930A (ja) * 1996-05-10 1997-11-28 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
US6704451B1 (en) 1998-03-02 2004-03-09 Koninklijke Kpn N.V. Method and arrangement for objective assessment of video quality
JP2004080177A (ja) 2002-08-13 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体
JP2004172753A (ja) * 2002-11-18 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 映像・音声品質客観評価方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1804519A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811835B1 (ko) 2006-10-25 2008-03-10 주식회사 에스원 동영상 특징량 추출방법 및 이를 이용한 내용 기반 동영상검색방법
JP2008131658A (ja) * 2006-11-22 2008-06-05 Tektronix Inc ビデオ・フレーム測定装置及び方法
KR100893609B1 (ko) 2007-06-05 2009-04-20 주식회사 케이티 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
KR101188833B1 (ko) 2008-03-21 2012-10-08 니폰덴신뎅와 가부시키가이샤 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램
WO2009116666A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP2009273127A (ja) * 2008-04-30 2009-11-19 Thomson Licensing フレーム系列の歪んだバージョンの品質を評価する方法
JPWO2009133879A1 (ja) * 2008-04-30 2011-09-01 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
US8699818B2 (en) 2008-04-30 2014-04-15 Nec Corporation Method, system, and program for determining image quality based on pixel changes between image frames
JP5708916B2 (ja) * 2008-04-30 2015-04-30 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
JP2010206790A (ja) * 2009-03-05 2010-09-16 Tektronix Inc 信号フィルタ処理方法及び装置並びにイメージ整列方法
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2015520548A (ja) * 2012-04-23 2015-07-16 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチメディア品質を評価する方法及び装置
US10116929B2 (en) 2012-08-22 2018-10-30 Huawei Technologies Co., Ltd. Multimedia quality monitoring method, and device

Also Published As

Publication number Publication date
EP1804519A4 (en) 2010-01-06
US8130274B2 (en) 2012-03-06
CA2582531A1 (en) 2006-04-27
CA2582531C (en) 2013-03-12
CN101036399A (zh) 2007-09-12
EP1804519A1 (en) 2007-07-04
CN101036399B (zh) 2010-05-05
JPWO2006043500A1 (ja) 2008-05-22
US20080143837A1 (en) 2008-06-19
JP4733049B2 (ja) 2011-07-27
KR20070061855A (ko) 2007-06-14
KR100858999B1 (ko) 2008-09-18

Similar Documents

Publication Publication Date Title
WO2006043500A1 (ja) 映像品質客観評価装置、評価方法およびプログラム
US7733372B2 (en) Method and system for video quality measurements
US8442318B2 (en) Method and apparatus for modifying a moving image sequence
US9672636B2 (en) Texture masking for video quality measurement
US6931065B2 (en) Apparatus and method for motion detection of image in digital video recording system using MPEG video compression
US20070263897A1 (en) Image and Video Quality Measurement
JP4104593B2 (ja) 画像処理システムの損失ブロック復旧装置及びその方法
US9232118B1 (en) Methods and systems for detecting video artifacts
KR101037940B1 (ko) 압축 영상의 화질 검출장치 및 방법
JP2004096752A (ja) 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機
JP4514155B2 (ja) 映像品質評価装置、方法およびプログラム
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
Ong et al. Perceptual quality metric for H. 264 low bit rate videos
KR20140101745A (ko) 다수 아티팩트를 고려한 비디오 품질 측정
Gurav et al. Full-reference video quality assessment using structural similarity (SSIM) index
Narwaria et al. Video quality assessment using temporal quality variations and machine learning
JP2004080177A (ja) 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体
JP4837909B2 (ja) 画像処理システムの損失ブロック特性判断装置及びその方法
Cheng et al. Reference-free objective quality metrics for MPEG-coded video
KR100608048B1 (ko) 움직임 벡터 오류 정정 방법 및 그 장치와 이를 구현하기위한 프로그램이 기록된 기록 매체
Yang et al. Spatial-temporal video quality assessment based on two-level temporal pooling
WO2013159275A1 (en) Perceived video quality estimation considering visual attention
Leszczuk et al. Study of No-Reference Video Quality Metrics for HEVC Compression
Pelagotti et al. Scalable motion compensated scan-rate upconversion
Yang et al. A New Objective Quality Metric for Frame Interpolation using in Video Compression

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11663679

Country of ref document: US

Ref document number: 2582531

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2005793444

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200580033574.8

Country of ref document: CN

Ref document number: 1020077007552

Country of ref document: KR

Ref document number: 2006542965

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005793444

Country of ref document: EP